如何训练出优秀的深度学习模型-深度学习训练经验总结！

深度学习训练中的经验总结！

一些训练心得，欢迎补充。

1 优化器

优化器是很重要的一个环节，使用得当会发挥出意想不到的结果。

• 首先可尝试，Adam；
• 进一步可使用SGD，对优化器对参数较敏感，可修改的参数包括LR，动量，正则项(过拟合时使用)。

2 模型

• 有时模型训练不佳的原因可能是模型过于简单，尝试增加模型复杂度。

3 梯度

训练结果不佳时可以查看梯度变化，对症下药。

• 梯度爆炸可采用梯度裁剪的方法解决；
• 梯度弥散时加残差等。

4 信心

• 对于自己要有信心，不要因为简单的失败而责备自己，相信自己终会练出好的模型！

Note:对于每一次的改动都要记录，方便校对。

以上就是全部内容！