神经网络训练心得1

最近刚学习完cnn的一些基础理论，就立刻写了一个自己的LeNet-5对cifar-10进行训练，现将调试的第一条心得记录如下：

第一是在进行权重初始化（weight initialization）的时候一定要小心，不是随便给出几个小的随机数就万事大吉了，当神经网络层数不多的时候，或许没什么太大的影响，但当网络变深的时候，激活函数可能会变为了0！这时候无论怎么训练，准确率也只有随机水平

第二是学习率（learning rate）非常重要, 当它太小时，loss下降得非常慢或者基本不变，太大时又loss=nan又可能会出现，Nan出现就意味着loss 爆炸，这很可能是学习率太高造成的。

Ps：cs231n专门用两节课来讲训练神经网络的问题，http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture6.pdf和http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture7.pdf