keras学习记录——神经网络训练踩坑记

1. 在训练神经网络时后期出现震荡，不能收敛到一个较好的值，查找原因发现学习率中的步长一直为0.001，可是设置了自动调节学习率的函数呀，具体见下述代码：

model.compile(loss='sparse_categorical_crossentropy',optimizer=Adam(),metrics=['accuracy'])
lr_reducer = ReduceLROnPlateau(monitor='val_accuracy', factor=0.2, patience=2,
                               mode='max', min_lr=1e-3, verbose=1)

后来查看函数代码得知，Adam()中默认的起始学习率为0.001，可在 ReduceLROnPlateau中的参数min_lr是最小学习率的设置，故学习率起始就是最小值，不会再变化了，这导致了训练后期学习率过大而引起了震荡的情况出现。

2. 使用adam时存在陷入局部最优的情况，例如十分类时，准确率一直为10%，此时改变sgd方法可解，但sgd训练速度较慢。经过了解adam可比作傻瓜相机，sgd比作单反，对于初学者来说adam适合，而需要精调的话，还是需要sgd的。对于adam的话，下次尝试增大学习率看是否能跳出局部最优。（已测试，不能跳出局部最优）

供自己学习使用，也共别人参考，大佬勿喷！会持续更新