深度学习入门之Mnist

  参看Deep learning from scratch,学习到反向传播网络后，把网络调通了，但是训练后损失函数减小，准确率没有变化，和瞎猜一样，是为什么呢？只有在看看各层缺少什么，关键是我的参数和书中例子差不多，到底是为什么呢？

  调试了一晚上，应该是反向传播的值为零了，梯度为零，参数没有调整。

 又折腾了一天，去看书上的源码，才发现作者所用的像素值是经过归一化（0-1），而我直接就使用原生的像素值，搞出来的模型基本没有进步。然后我试着改变了学习率，rate=10,0.01,过大都没有学习到模型的特点，过小收敛的很慢。在个小例子说明了数据预处理和超参数对于deep learning很重要啊。

转载于:https://www.cnblogs.com/Robin008/p/9911346.html