Google---机器学习速成课程(二)-SGD

4. 降低损失 reducing loss

为了训练模型，我们需要一种可降低模型损失的好方法。迭代方法是一种广泛用于降低损失的方法，而且使用起来简单有效。

学习目标

• 了解如何使用迭代方法来训练模型。
• 全面了解梯度下降法和一些变体，包括：
  • 小批量梯度下降法
  • 随机梯度下降法
• 尝试不同的学习速率。

-------------------------------------------------------

降低损失：迭代方法

下图 1 为ML算法用于训练模型的迭代试错过程：

图 1 用于训练模型的迭代方法 

“模型”部分将一个或多个特征作为输入，然后返回一个预测 (y') 作为输出。为了简化，不妨考虑用一个特征并返回一个预测的模型：y' = b + w1x1。

我们应该为b和w1设置哪些初始值？

对于线性回归问题，事实证明初始值并不重要。我们可以随机选择值，不过我们还是选择采用以下这些无关紧要的值：b=0,w1=0。假设第一个特征值是 10。将该特征值代入预测函数会得到以下结果：y'=0 + 0(10) —> y'=0.

图中的“计算损失”部分是模型将要使用的损失函数。假设我们使用平方损失函数。损失函数将采用两个输入值：y':模型对特征x的预测，y:特征x对应的正确标签。

最后，来看图的“计算参数更新”部分：机器学习系统就是在此部分检查损失函数的值，并为b和w1生成新值。

假设绿色框会产生新值，然后ML系统将根据所有标签重新评估所有特征，为损失函数生成一个新值，而该值又产生新的参数值。这种学习过程会持续迭代，直到该算法发现损失可能最低的模型参数。通常可以不断迭代，直到总体损失不再变化或至少变化极其缓慢为止。这时可以说该模型已收敛。

-------------------------------------------------------

降低损失 (Reducing Loss)：梯度下降法

我们将图1中的 “计算参数更新” 的绿框用更为实质的方法代替：

对于回归问题，所产生的损失与w1的图形始终是凸形图(碗状图)，如下图 2 所示

图2 回归问题产生的损失和权重图为凸形

凸形问题只有一个最低点；即只存在一个斜率正好为 0 的位置。这个最小值就是损失函数收敛之处。

通过计算整个数据集中w1每个可能值的损失函数来找到收敛点这种方法效率太低。

一种更好的机制：梯度下降法在ML领域非常热门。

梯度下降法的第一个阶段:为w1选择一个起始值（起点）。

起点并不重要；因此很多算法就直接将w1设为0或随机选择一个值。下图3选择了一个稍大于0的起点：

图 3 梯度下降法的起点

然后，梯度下降法算法会计算损失曲线在起点处的梯度：

梯度是偏导数的矢量；它能让你了解哪个方向距离目标“更近”或“更远”。

请注意，损失相对于单个权重的梯度（如图3所示）就等于导数。

梯度是一个矢量：具有方向和大小。

梯度始终指向损失函数中增长最为迅猛的方向。梯度下降法算法会沿着负梯度的方向走一步，尽快降低损失。

图 4 梯度下降法依赖负梯度

个人理解，图4 红色箭头并不是梯度方向（梯度为w导数的方向），而是一个趋势。

为了确定损失函数曲线上的下一个点，梯度下降法算法会将梯度大小的一部分与起点相加，如下图所示：

图 5 一个梯度步长后移动到损失曲线的下一个点

然后，梯度下降法重复此过程，直到接近最低点。

-------------------------------------------------------

降低损失 (Reducing Loss)：学习速率

梯度矢量具有方向和大小。梯度下降法算法用梯度乘以一个称为学习速率（有时也称为步长）的标量，以确定下一个点的位置。例：梯度大小为 2.5，学习速率为 0.01，则梯度下降法算法会选择距离前一个点 0.025 的位置作为下一个点。

超参数是编程人员在机器学习算法中用于调整的旋钮。大多数机器学习编程人员会花费相当多的时间来调整学习速率。

• 选择的学习速率过小，就会花费太长的学习时间
• 学习速率过大，下一个点将永远在 U 形曲线的底部随意弹跳
• 每个回归问题都存在一个Goldilocks学习速率，Goldilocks值与损失函数的平坦程度相关。若损失函数梯度较小，则采用更大的学习速率，以补偿较小梯度并获得更大的步长。

-------------------------------------------------------

降低损失 (Reducing Loss)：随机梯度下降法

在梯度下降法中，批量指的是用于在单次迭代中计算梯度的样本总数。到目前为止，我们一直假定批量是指整个数据集。如果是超大批量，则单次迭代就可能要花费很长时间进行计算，冗余数据也会增多。

从数据集中随机选择样本，通过小而多的数据集估算（尽管过程非常杂乱）出较大的平均值。 随机梯度下降法 (SGD) 将这种想法运用到极致，它每次迭代只使用一个样本（批量大小为 1）。进行足够的迭代，SGD可以发挥作用，但过程会非常杂乱。“随机”这一术语表示构成各个批量的一个样本都是随机选择的。

小批量随机梯度下降法（小批量 SGD）是介于全批量迭代与SGD之间的折衷方案。小批量通常包含10-1000个随机选择的样本。小批量SGD可以减少SGD中的杂乱样本数量，但仍然比全批量更高效。

-------------------------------------------------------

降低损失 (Reducing Loss)：Playground 练习

点击打开链接

以上是链接，可以更直观的理解学习速率

-------------------------------------------------------

以上整理转载在谷歌出品的机器学习速成课程点击打开链接 侵删！