详细介绍:深度学习优化器

介绍

深度学习优化器是用于调整神经网络权重的算法，目的是最小化损失函数，从而训练出性能良好的模型。

SGD（随机梯度下降）优化器

SGD是梯度下降算法的一种变体，它在每次迭代中只使用一个训练样本或一个小批量（mini-batch）来计算损失函数的梯度，并据此更新模型的参数。这种方法可以减少计算量，加快训练速度，并有助于避免陷入局部最小值。
公式：

优点

简单性：SGD算法结构简单，易于理解和实现。
通用性：适用于各种类型的损失函数和模型结构。
收敛性：在许多情况下，SGD能够收敛到损失函数的最小值。
适应性：SGD可以适应不同的数据分布，因为它每次只考虑一个样本或小批量样本。

缺点

学习率选择：SGD对学习率的选择非常敏感，如果学习率设置不当，可能导致模型训练不收敛或收敛速度慢。
训练时间长：由于每次只使用少量数据更新权重，SGD可能需要更多的迭代次数才能收敛。
不稳定的梯度：SGD的更新步长可能会因为梯度的高方差而变得不稳定，这可能导致训练过程中出现较大的波动。
局部最小值：在某些情况下，它可能陷入局部最小值，特别是当损失函数非常复杂时。
需要调参：SGD通常需要手动调整学习率和其他超参数，这可能需要大量的实验和时间。
容易收到样本噪声影响

SGD+Momentum优化器

Momentum优化器通过引入一个动量项来加速SGD的收敛过程。动量项是之前梯度的指数加权平均，它允许优化器在参数空间中沿着梯度下降的方向更快地移动，同时减少在局部最小值或鞍点的震荡。
公式

优点
加速收敛：动量项帮助优化器更快地穿过平坦区域，加速训练过程。
减少震荡：由于动量项平滑了梯度更新，Momentum优化器减少了训练过程中的震荡。
跳出局部最小值：动量可以帮助优化器跳出小的局部最小值，向全局最小值移动。
对学习率的依赖性降低：由于动量项的存在，Momentum优化器对学习率的选择不如SGD敏感。
鲁棒性：Momentum优化器对噪声和局部波动更加鲁棒
缺点
参数调整：虽然对学习率的敏感性降低，但Momentum优化器仍然需要调整其他超参数，如动量系数。
计算复杂性：与SGD相比，Momentum优化器需要额外的存储空间来保存动量项，并且每次迭代需要更多的计算。
可能的过冲：在某些情况下，动量可能会导致优化器在最小值附近过冲，需要更精细的调整来避免这种情况。

Adagrad优化器

Adagrad的核心思想是为每个参数自适应地调整学习率。它通过累积过去所有梯度的平方来更新每个参数的学习率。
公式

优点
自适应学习率：Adagrad为每个参数自动调整学习率，有助于处理稀疏数据和不同尺度的特征。
处理稀疏性：特别适合于处理具有大量稀疏特征的数据集。
减少调参：由于自适应学习率，Adagrad减少了手动调整学习率的需求。
稳定性：Adagrad通过自适应调整，能够在训练过程中保持相对稳定的学习率。
缺点
累积效应：随着训练的进行，累积的梯度平方和会不断增大，导致学习率迅速减小，这可能过早地结束训练。
不适合非静态数据：如果数据分布随时间变化，Adagrad可能不会有效地更新参数，因为它依赖于过去的梯度信息。
计算资源：由于需要存储和更新每个参数的梯度平方和，Adagrad可能需要更多的内存。
收敛速度：在某些情况下，由于学习率快速减小，还没有收敛就已经停止训练了。

RMSprop优化器

RMSprop（均方根传播）是一种优化算法，由Geoff Hinton提出，主要用于解决随机梯度下降（SGD）在非平稳目标优化中的一些问题。RMSprop通过计算梯度的指数加权平均值来调整学习率，从而动态地调整每个参数的学习率。
公式

在Adagrad优化器上加入一个超参数，控制衰减是速度，优缺点和Adagrad优化器差不多。

Adam优化器

Adam（Adaptive Moment Estimation）是一种流行的优化算法，它结合了动量（Momentum）和RMSprop的特点，通过维护梯度的一阶矩估计（均值）和二阶矩估计（方差）来动态调整每个参数的学习率。
公式

优点
自适应学习率：Adam为每个参数自适应地调整学习率，适合处理各种规模的参数。
结合动量和RMSprop：结合了动量方法的加速收敛特性和RMSprop对非平稳目标的适应性。
稳定性：通过动量项和自适应学习率，Adam通常比SGD和RMSprop更稳定。
广泛适用性：由于其自适应特性，Adam在多种深度学习任务中表现出良好的性能。
缺点
超参数敏感性：Adam的性能可能受到超参数选择的影响，特别是𝛽1和𝛽2的值。
内存使用：由于需要存储额外的矩估计，Adam可能占用更多的内存。
偏差校正问题：在早期迭代中，由于偏差校正不准确，可能导致学习率估计不准确。

其他优化器

Adadelta：类似于Adagrad，但解决了学习率随着时间降低的问题。
Nesterov Accelerated Gradient (NAG)：Momentum的改进版本，考虑了梯度的动量，可以更有效地加速收敛。
Adamax：是Adam的一个变体，使用无限长的时间窗口来计算梯度的指数衰减平均。
Nadam（Nesterov-accelerated Adaptive Moment Estimation）：结合了Nesterov Momentum和Adam的特点，适用于大型数据集。

完结撒花