基于梯度下降算法的参数更新公式的推导

​ 在前面一篇文章中写到了线性回归算法以及梯度下降算法对参数的更新：

​ ${\theta }_i={\theta }_i^{{}^{\prime }}-\alpha \frac{\partial Loss}{\partial \theta }$

​ 每一个算法都会有相应的数学公式推导，那么这个参数更新公式是怎么来的呢？

​ 首先看一张函数图片：

​ 比如说我们的初始点在${\theta }_0$点，我们的下一步需要到达的点是$\theta$, 现在我们要做的就是根据已知的${\theta }_0$来得到下一步更新的$\theta$点，就是我们的参数更新公式。

​ 再看看，这张图是不是有些熟悉？对，就是我们高中刚学导数的时候推导的一个公式：

​ $\frac{f(\theta )-f({\theta }_0)}{\theta -{\theta }_0}=▽f({\theta }_0)$

​ 当$\theta$无限接近${\theta }_0$的时候，对应函数值的差值与$\theta$与${\theta }_0$的差值的比值就是函数在${\theta }_0$点的梯度值，就是导数。

​ 其实吧，这公式更严格地说来自泰勒展开式：

​ $f(x)={\sum }_{i=0}^n\frac{f^i(x_0)}{i!}(x-x_0{)}^i$

​ 当$i$=1时，就会得到上述公式，也就是泰勒一阶展开式。

​ 那接下来就要对公式进行变换，将分子项移到右边

​ $f(\theta )-f({\theta }_0)=(\theta -{\theta }_0)▽f({\theta }_0)$

​ 对每次更新$\theta$值都希望使$f(\theta )$值更小，所以可以得到

​ $f(\theta )-f({\theta }_0)<0$

​ 即$(\theta -{\theta }_0)▽f({\theta }_0)<0$.

​ 下面重点来了，$\theta -{\theta }_0$是一个很小的矢量，他的大小我们规定是我们每更新一个参数力度$\eta$（可以比作下山时每一步走的多少）,那么单位向量我们定义为$v$,则上述公式可变为

​ $\eta v▽f({\theta }_0)<0$

​ $\eta$是标量而且一般设定为正值，所以$\eta$可以忽略，所以不等式变成
​
$v▽f({\theta }_0)<0$

​ 根据两个向量数量积公式可以得到

​ $|v||▽f(\theta )|cos(\beta )<0$

​ 可知当$cos(\beta )=-1$的时候$v与▽f(\theta )$的方向完全相反即是梯度的负方向的时候，即使$v▽f({\theta }_0)$小于0且是局部最小值。因为$v$是单位向量又是梯度的反方向，所以

​ $v=-\frac{▽f(\theta )}{|▽f(\theta )|}$

​ 代如$\theta -{\theta }_0=\eta v$中

​ $\theta ={\theta }_0-\eta \frac{▽f({\theta }_0)}{|▽f({\theta }_0)|}$

​ 一般$|▽f({\theta }_0)|$是标量，可以并入到$\eta$中简化为

​ $\theta ={\theta }_0-\eta ▽f({\theta }_0)$