训练神经网络--优化方法及其优化器

目录

前言

1.随机梯度下降法--SGD

 2.SGD+Momentum算法

3.AdaGrad算法

 3.RMSProp算法

4.Adam算法

---

前言

在训练神经网络的时候，有归一化，正则化等优化模型性能的方法，但是在做这些优化之前，我们需要确定一种优化方法或者说是优化器，优化方法会对模型的 性能有不少的影响，pytorch里面自带了不少优化器，可以自动的更新梯度，loss等参数，是比较方便的。

1.随机梯度下降法--SGD

对比批量梯度下降法，假设从一批训练样本n中随机选取一个样本，模型参数为

， 代价函数为，梯度为，学习率为