李宏毅-2021春-机器学习/深度学习学习笔记-Deep Learning【1】

一、When Gradient Is Small: Local Minimum and Saddle Point

1、为什么你的训练损失会停留在一定的数值？

• 原因1：达到了局部最小，意味着网络训练已经达到了收敛的情况；
• 原因2：达到了鞍点（saddle point），此时的梯度也是0，故网络损失可能不会再继续下降；

2、判断鞍点

  首先，就要知晓损失函数的形状，但是我们无法知道完成的损失函数的形状，因为参数可能很多，模型比较复杂，但是如果给定某一组参数${\theta }^{\prime }$，在其附近的损失函数，是有办法被写出来的：
$$L(\theta )\approx L({\theta }^{\prime })+(\theta -{\theta }^{\prime }{)}^{T}g+\frac{1}{2}(\theta -{\theta }^{\prime }{)}^{T}H(\theta -{\theta }^{\prime }),$$
上述公式的来源是泰勒展开，其中，$g$表示的是一个向量，就是对所有${\theta }_i$所算得的$gradient$，计算方法如下：
$$g=\nabla L({\theta }^{\prime })g_i=\frac{\partial L({\theta }^{\prime })}{\partial {\theta \text{θ}\theta }_i},$$
其中，$H$是一个矩阵，计算方法如下：
$$H_{ij}=\frac{{\partial }^{2}L({\theta }^{\prime })}{\partial {\theta \text{θ}\theta }_i\partial {\theta \text{θ}\theta }_j},$$
如果，此时的训练的损失已经进入"收敛"状态，此时$gradient$为0，即$(\theta -{\theta }^{\prime }{)}^{T}g$该项此时为0，所以我们只需要看余项来对损失函数的形状进行判别即可，即
$$L(\theta )\approx L({\theta }^{\prime })+\frac{1}{2}(\theta -{\theta }^{\prime }{)}^{T}H(\theta -{\theta }^{\prime }),$$
为了符号撰写的方便，这里用$v$来表示$(\theta -{\theta }^{\prime })$，由此有

• 若对于所有的$v$而言，有$v^{T}Hv>0$，即在${\theta }^{\prime }$附近，所有的$L(\theta )$都大于$L({\theta }^{\prime })$，所以其是局部最小；
• 若对于所有的$v$而言，有$v^{T}Hv<0$，即在${\theta }^{\prime }$附近，所有的$L(\theta )$都小于$L({\theta }^{\prime })$，所以其是局部最大；
• 若对于部分$v$，有$v^{T}Hv>0$，另外一部分有$v^{T}Hv<0$，则其表示为鞍点；

但是这里你无法带入所有的$v$，只需要计算$H$的特征值都大于0即可，numpy中计算特征值的函数为np.linalg.eig(H)；

3、逃离鞍点

  设$u$为$H$的一个特征向量，$\lambda$为$u$的特征值，此时寻找到一个$\lambda <0$那么有
$$v^{T}Hv\to u^{T}Hu=u^T(\lambda u)=\lambda u^{T}u=\lambda ||u|{|}^2,$$
  此时，$\lambda <0$，则$u^{T}Hu<0$，所以$L({\theta }^{\prime })+\frac{1}{2}{u}^{T}Hu=L(\theta )<L({\theta }^{\prime })$，所以只需要让此时的$\theta$沿着$u$更新参数即可：
$$\theta -{\theta }^{\prime }=u\theta ={\theta }^{\prime }+u,$$
  但是，实际上并没有这么做（讲了这么半天结果没人这么干…），李老师的意思是卡在了鞍点并没有那么可怕，那么平时我们遇到情况更多的是高维鞍点；

4、笔者注

  在我刚开始接触机器学习与深度学习的时候，对于该领域中的维度有一段时间我理解的不是很明白，经过了一段时间的学习，我稍稍加深了一点对于该名词的理解，当然这可能也比较浅薄，但我希望能加深大家对其的理解：

  对于某一个函数，比如$y=ax+b$中，在深度学习领域中，我们常将其写成$y={\theta }_{0}x+{\theta }_1$，其中，${\theta }_0$就是我们常说的偏置（bias），对于这样的一个函数，我们会称其为参数量居于二维空间之中，因为函数中我们要学习的参数只有${\theta }_0$与${\theta }_1$两个，而稍微扩展一点，对于一个简单的线性分类器来说，如$y={\theta }_{0}x+{\theta }_1+{\theta }_2+...+{\theta }_{n-1}$而言，其参数量就属于$N$维空间之中。

  课程中，李老师说到对于低纬的局部最优，可能在高维看上去不过是一个鞍点而已，我们可以这么理解：当我们在一张纸上画一条二次曲线（如$y=a{x}^2$），并将该张纸揉得很杂乱，对于那张纸而言$(0,0)$这个点永远是局部最小值的点，但是对于现实的三维世界而言，由于我们把其揉的很乱，肯定纸张中有部分是低于$(0,0)$那个点，有部分是$(0,0)$那个点的，我们要找的，则是三维空间中最低（即全局最优解）的那个点。

  所以，这样我们也就可以理解为什么，我们倾向于让模型更加复杂，让模型拥有更多的参数，但是如此一来会带来的种种其他问题，解决方法就需要用到我们以后学得的更优异的数学模型和网络构架（如resNet）了。