学习笔记1-梯度下降法推导

其方法基于一阶泰勒展开式

Welcom

以下方法基于多变量的泰勒展开式，欢迎大家指出错误；同时是第一次写博客，若有不恰当之处，请联系我。

TEXT

设有多元向量X: $X=\left[x_1,x_2,x_3,......,x_n\right]$,且有关系$f$，使得$f(X)=f\left(x_1,x_2,x_3,......,x_n\right)$
则有：
$$f\left(X\right)=f\left(X_0\right)+{\left(\nabla f\left(X\right)\right)}^T\cdot \left(X-X_0\right)+o\left({\left(X-X_0\right)}^2\right)$$

上式中，当$X-X_0$比较小时，才有较高的精度(适用于凸函数)。

设$X-X_0=\alpha \cdot u$，$\alpha$ 表示学习率，$u$表示$X-X_0$的单位矢量。

因此，当$X-X_0$很小时，忽略二阶精度，展开式等价于：
$$f\left(X\right)-f\left(X_0\right)={\left(\nabla f\left(X\right)\right)}^T\alpha \cdot u$$

上式中，可以认为$ f(X_0) $表示上一瞬时损失函数的值 $f(X)$ 表示此瞬时的值。
我们期望有：
$$f\left(X\right)-f\left(X_0\right)<0$$
且满足：
$$\max \left(f\left(X\right)-f\left(X_0\right)\right)$$

忽略标量学习率$\alpha$，则上式转化为求：
$$\min \left(u^T\cdot \nabla f\left(X\right)\right)$$
在n维空间中，向量方向相反时，可得到最小值。

即：
$$u^T\cdot \nabla f\left(X\right)=|u|\cdot |\nabla f\left(X\right)|\cos <u,\nabla f\left(X\right)>$$
当$\cos <u,\nabla f\left(X\right)=\pi$时取得最小值，既有：

$$\min \left(f\left(X\right)-f\left(X_0\right)\right)=-\alpha \cdot |u|\cdot |\nabla f\left(X\right)|=-\alpha \cdot |\nabla f\left(X\right)|$$

所以得到：
$$u=-\frac{\nabla f\left(X\right)}{|\nabla f\left(X\right)|}$$
即得：
$$X-X_0=-\alpha \cdot \frac{\nabla f\left(X\right)}{|\nabla f\left(X\right)|}=-\beta \cdot \nabla f\left(X\right)$$

证毕

参考文献：
https://blog.csdn.net/qq_38262266/article/details/100750998?depth_1-utm_source=distribute.pc_relevant.none-task-blog-OPENSEARCH-1&utm_source=distribute.pc_relevant.none-task-blog-OPENSEARCH-1