梯度下降的理解

梯度下降的理解

损失函数$L(\vec{W})$其实就是把参数向量$\vec{\theta }$当作自变量，每一个样本的预测值$H_i(\vec{W})$和真实值$Y_i$之间差作为因变量。求出关于参数$\vec{\theta }$取什么值时，使得损失函数最小化。这些参数构造就得到了模型。
$$\vec{W}=[{\theta }^1,{\theta }^2,...,{\theta }^j,...,{\theta }^p]$$
根据函数导数的定义，$L(\vec{W})$在对每个参数求偏导为0时，即$\frac{\partial L({\theta }_n^1)}{\partial {\theta }_n^1}=0,\frac{\partial L({\theta }_n^2)}{\partial {\theta }_n^2}=0,...,\frac{\partial L({\theta }_n^p)}{\partial {\theta }_n^p}=0$可以得到最小值。

假设损失函数为
$L(\vec{W})=(H_1(\vec{W})-Y_1{)}^2+(H2(\vec{W})-Y_2{)}^2+...+(Hm(\vec{W})-Y_m{)}^2$

梯度下降一般是设置一个初始的参数向量$\overrightarrow{W_0}$
$$\overrightarrow{W_0}=[{\theta }_0^1,{\theta }_0^2,...,{\theta }_0^j,...,{\theta }_0^p]$$

参数$\overrightarrow{W_0}$一步步更新，使得最终的每一个参数$\frac{\partial L({\theta }_n^j)}{\partial {\theta }_n^j}=0$

权重参数${\theta }^j$更新的式子
${\theta }_1^j={\theta }_0^j-\alpha \frac{\partial L({\theta }_0^j)}{\partial {\theta }_0^j}$
$\cdots$
${\theta }_k^j={\theta }_{k-1}^j-\alpha \frac{\partial L({\theta }_{k-1}^j)}{\partial {\theta }_{k-1}^j}$ $\ast \ast Eq1\ast \ast$
$\cdots$
${\theta }_n^j={\theta }_{n-1}^j-\alpha \frac{\partial L({\theta }_{n-1}^j)}{\partial {\theta }_{n-1}^j}$

那为什么这么更新呢
可以理解为，要使得$L(\vec{W})$达到极小值，那么每一个参数$\frac{\partial L({\theta }_k^j)}{\partial {\theta }_k^j}$都是在不断的逼近到0，即$\frac{\partial L({\theta }_k^j)}{\partial {\theta }_k^j}⟶0$

$L(\vec{W})$在对参数${\theta }_k^j$求偏导为0时等价于${\theta }_k^j$对步长$\alpha$的变化率为0。即${\theta }_k^j$相对于步长$\alpha$的变化不再变化时。
可以根据极限的定义来看这一步
$$\frac{\partial L({\theta }_k^j)}{\partial {\theta }_k^j}=\frac{L({\theta }_k^j)-L({\theta }_{k+1}^j)}{{\theta }_k^j-{\theta }_{k+1}^j}=\frac{{\theta }_k^j-{\theta }_{k+1}^j}{\alpha }Eq2$$

$\alpha$就是步长，学习率learning rate。由Eq2可知，$\alpha$与$L({\theta }_k^j)-L({\theta }_{k+1}^j)$同号，$\alpha$取正数，决定了下一步更新的函数值会下降，此时参数会沿着极小值不断更新。（参考下图理解，把x轴换成$\theta$轴思考）

总体来说$\theta$从两边向内收，分为两种情况：

1. 斜率为负时，$\theta$往右更新，即${\theta }_k^j-{\theta }_{k+1}^j<0$，$L({\theta }_k^j)-L({\theta }_{k+1}^j)>0$
2. 斜率为正时，$\theta$往左更新，即${\theta }_k^j-{\theta }_{k+1}^j>0$，$L({\theta }_k^j)-L({\theta }_{k+1}^j)>0$
   故Eq1成立。
   当$\alpha <0$时，$L({\theta }_k^j)-L({\theta }_{k+1}^j)<0$。函数值会增大，参数会往函数极大值的方向更新，$\theta$整体往两边跑（此时变成梯度上升🤣）。