李宏毅机器学习——梯度下降Gradient Descent

一、自适应学习率

在梯度下降的过程中，一般情况下，希望开始开始的时候学习率（学习的速度）快一些，后面慢慢接近局部最低的时候，学习率逐渐减小，移动的幅度更小且精确。

（一）普通的梯度下降

学习率的调整受到t和g的影响（g是微分），步长受到初始学习率、当前微分、当前时刻点的影响

（二）Adagrad

学习率的调整受到微分占比的影响（相当于把t和g整合成了占比这一个统计量），步长受到初始学习率、当前微分占比的影响。

二、Adagrad的使用场景

适用于单参数模型，这是其最大的缺点。原因有二：

• 不同参数需要不同的w
• 多参场景下，步长同时受到一阶导和二阶导的影响，计算复杂

【解决措施】特征缩放，即标准化
x的量纲不同，w对y的影响不同，w对损失函数的影响也不同。所以应该对x进行标准化，从而更新参数更容易且有效率。

三、梯度下降的限制

• 容易陷入局部极值
• 还有可能卡在不是极值，但微分值是0的地方
• 还有可能实际中只是当微分值小于某一个数值就停下来了，但这里只是比较平缓，并不是极值点