#Datawhale X 李宏毅苹果书 AI夏令营#3.1&3.2局部极小值与鞍点&批量和动量

本章介绍深度学习常见的概念，主要包括3.1局部极小值与鞍点；3.2批量和动量。

知识点讲解：

3.1局部极小值和鞍点

我们在做优化的时候，有时候会发现随着参数不断更新，函数的损失值却不再下降的现象，但这个优化结果离我们想要的理想值还差距很大。

这是什么原因呢？接下来我们就研究这个问题。

局部极小值：

我们先看数学定义：在一个多变量函数中，如果存在某个点，在该点附近的所有其他点的函数值都大于等于该点的函数值，则该点称为一个局部极小值点。局部极小值的梯度为零（即导数为零），但梯度为零的点不一定是极值点。海森矩阵正定。

鞍点：

数学定义：对于一个多变量函数，如果存在一个点，在某些方向上它是局部最小值，在其他方向上则是局部最大值，那么这个点就被称为鞍点。鞍点处的梯度也为零，但其海森矩阵既不是正定也不是负定，通常含有正的和负的特征值。鞍点可以想象成一个马鞍的形状。可以参考下图：

如何判断一个梯度为零的点是极值点还是鞍点：

1）梯度，鞍点和极值点的梯度都为零，所以无法通过梯度来判断；

2）海森矩阵，我们可以利用函数的二阶条件即海森矩阵来判断。如果海森矩阵正定或负定，那么这个点就是极小值点或者极大值点；如果海森矩阵的特征值既有正值又有负值，即既不是正定又不是负定，那么可以判断该点是鞍点。

逃离鞍点的方法：

逃离鞍点是优化算法面临的重要挑战之一，尤其在处理非凸函数时更为显著。鞍点并没那么可怕。为什么呢？低维度空间中的局部极小值点，在更高维的空间中，实际是鞍点。这就好办了，如果在二维空间中无路可走，那么在更高维的空间里面是不是有可行的路径呢？答案是肯定的。多数的时候，我们训练到一个梯度 很小的地方，参数不再更新，往往只是遇到了鞍点。

3.2批量和动量

批量：

定义：批量（batch size)，是指在训练神经网络时，每次计算梯度和更新参数时所使用的样本数量。。在深度学习中，数据集通常会被划分为多个小批次，每个批次包含一定数量的样本。批量是一个超参数，是可以手动调整的。通常也是需要我们根据数据量的不同来调参的。

批量大小对梯度下降法的影响

批量梯度下降：1）批量梯度下降每次迭代的计算量大；2）批量梯度下降每次更新更稳定、更 准确；

在考虑并行计算的情况下，批量梯度下降的花费的时间不一定更长。只有在批量很大的情况下超出GPU 并行计算极限的时候，需要花费的时间才会比小批量梯度下降时间长。

小批量梯度下降：1）单次迭代的计算量小，但每个epoch内需要更新的参数次数增加；2）梯度更新的方向有噪声；

实际上有噪声的梯度反而可能可以帮助训练，一个可能的解释是因为噪声有助于跳出局部极小值。

这个是优化的问题，大的批量大小优化可能会有问题，小的批量大小优化的结果反而是比较好的。

小的批量也对测试有帮助。

“大的批量大小会让我们倾向于走到“峡谷”里面，而小的批量大小倾向于让我们走到“盆地” 里面。小的批量有很多的损失，其更新方向比较随机，其每次更新的方向都不太一样。即使 “峡谷”非常窄，它也可以跳出去，之后如果有一个非常宽的“盆地”，它才会停下来。”

总之，批量大小是需要调整的超参数。批量大小的选择是一个权衡的过程，需要根据具体的硬件资源、训练目标以及模型特性来进行决策。

动量：

动量是一个来源于物理学的概念。在物理学中，动量和惯性息息相关。

在机器学习领域，我们引入了动量这个概念，用来改进梯度下降算法。动量法（momentum method）是另外一个可以对抗鞍点或局部最小值的方法。动量方法通过在梯度下降过程中加入历史梯度的方向信息，以加速收敛过程，并帮助模型更快地达到全局最优解或较好的局部最优解。

引入动量后，我们每次在更新参数时，不仅考虑当前点的梯度的反方向，同时还要考虑前一步的移动方向。每次更新时，都会先计算出新的动量向量，然后使用这个向量和当前的负梯度来一起更新模型参数。

动量方法的优点：1）加速收敛，在梯度方向变化不大的情况下，可以更快的沿着梯度方向前进；2）平滑更新，因为考虑了历史梯度的影响，所以动量可以减少训练中的振荡，平滑参数更新过程；3）较大的动量可以帮助模型越过一些较浅的局部最小值，从而找到更优解。

动量系数的选择：通常我们选择动量系数 β 取值在 0.8 到 0.999 之间，常见值为 0.9。

喜欢的小伙伴收藏点赞关注吧。