【深度学习实战（39）】SGD，Adam，Adawm区别

SGD（Stochastic Gradient Descent ）

随机梯度下降是最简单的优化器，它采用了简单的梯度下降法，只更新每一步的梯度，但是它的收敛速度会受到学习率的影响。
优点： 简单性，在优化算法中没有太多的参数需要调整，通过少量的计算量就可以获得比较好的结果。
缺点： 在某些极端情况下容易受到局部最小值的影响，也容易出现收敛的问题。

Adam（Adaptive Moment Estimation）(L2 regularization)

Adam 是一种更为先进的优化算法，它结合了动量（Momentum）和自适应学习率调整的概念。除了像 MBGD 那样使用小批量数据计算梯度外，Adam 还引入了一阶矩（first moment）和二阶矩（second moment）的指数衰减移动平均，以便更好地控制学习率。
优点：

它融合了Momentum优化方法和RMSProp优化方法，可以帮助优化算法提高精度。
它还可以自动调整学习率，因此不需要太多参数调整。
缺点： 它需要消耗更多的内存，而且可能会出现收敛问题。

AdamW （Adaptive Moment Estimation）（weight decay）

AdamW是Adam的变体，用来处理大型数据集，它以一定的比率来缩减模型参数的梯度，从而减少计算量，提高训练速度。
优点：

它可以自动调整学习率，而不需要太多参数调整，降低了冗余性。
它也可以自动调整权重衰减系数，使模型更加稳定，避免过拟合。
缺点： 学习率容易受到网络噪声的影响，从而影响优化过程。可能错过全局最优解。

因此，SGD和Adam是构建模型优化的常用方法，而AdamW是他们的变体，用于处理大型数据集。