网络调参时踩过的坑（长期更新）

1.学习率大小的设置

一般情况下，当网络收敛到一定程度时，loss曲线的变化不明显，并出现上下的小幅度波动，这时候可以考虑调小学习率，帮助网络进一步收敛到最优值。如下图所示：

但有些情况，网络看似收敛了，但实际上是到了某些平坦的曲面，离最优值还有一段距离。典型的loss curve如下图所示：

可以观察到，曲线还在非常稳定地缓慢下降，并且没有上下波动。这时不要误以为网络已经收敛，而要考虑学习率是否设置得太小了。使用更大的学习率可以帮助训练过程快速脱离参数空间中平坦的超曲面，从而进一步收敛到最优值。