1、不同激活函数,构建的神经网络的效果差异很大,可以在激活函数中测试
2、优化函数和学习率的关系巨大,影响神经网络的学习速度。
3、一般损失值函数不会相差太大,一般使用交叉熵损失值就行。
4、当训练网络时,当随着训练次数增加,神经网络的预测值一直不变时,就应该考虑学习率过小的因素,导致神经网络不会收敛,预测值一直不变,例如在猫狗分类中,一直识别为猫或者狗的问题。当在训练中,神经网络要么全部预测为这一类,要么全部预测为那一类,神经网络的预测值改变巨大,就应该考虑学习率过大的问题,导致权值修改过大,例如在猫狗分类中,先全部预测为猫或者狗,突然又全部预测为狗或者猫,就很可能是学习率过大的问题,使得权值修改过大。