训练网络好坏的监察——loss

1.训练集loss不断降低，但是测试集的loss先下降在增加说明模型过拟合了，一般adam优化器会经常出现这种情况，尝试使用其他优化器，同样可以加dropout，bn，做数据增广，加别的正则化试一下。

2.训练集loss不断降低，但是测试集loss一直增加，查看训练集和验证集分布是不是一样，在划分之前先shuffle一下。

3.测试集上的损失不断减少，但是训练集上的损失不断震荡有增有减。如果只是局部震荡，但是整体趋势还是下降的，则可能是batch设置过小等，否则，考虑学习率设置是否过大；损失函数以及参数更新策略，因为如果损失函数是凸的，而且采用的梯度下降策略，在训练的过程中，训练集最多不下降，但是一般不会上升。