如何优化和调试神经网络

1、不同激活函数，构建的神经网络的效果差异很大，可以在激活函数中测试

2、优化函数和学习率的关系巨大，影响神经网络的学习速度。

3、一般损失值函数不会相差太大，一般使用交叉熵损失值就行。

4、当训练网络时，当随着训练次数增加，神经网络的预测值一直不变时，就应该考虑学习率过小的因素，导致神经网络不会收敛，预测值一直不变，例如在猫狗分类中，一直识别为猫或者狗的问题。当在训练中，神经网络要么全部预测为这一类，要么全部预测为那一类，神经网络的预测值改变巨大，就应该考虑学习率过大的问题，导致权值修改过大，例如在猫狗分类中，先全部预测为猫或者狗，突然又全部预测为狗或者猫，就很可能是学习率过大的问题，使得权值修改过大。