拼命三娘冲（20191112)_梯度下降法(Gradient Descent)理解

角度一：定义
1、方向向量
$$u=i\cos \theta +j\sin \theta$$
2、方向导数
$$U=\underset{t\to 0}{\lim }\frac{f_x(x_0+t\cos \theta ,y_0+t\sin \theta )-f_y(x_0,y_0)}{t}$$
3、微分方程
$$\begin{gathered} \nabla z=f(x+\Delta x,y+\Delta y)-f(x,y) \\ =A\Delta x+B\Delta y+o(\rho ) \\ =f_x\Delta (x)+f_y\Delta (y)+o(\rho ) \end{gathered}$$

4、推导
利用微分方程，方向导数可以转换为下式
$$\begin{gathered} U=\underset{t\to 0}{\lim }\frac{f_x(x_0,y_0)t\cos \theta +f_y(x_0,y_0)t\sin \theta }{t} \\ =f_x(x_0,y_0)\cos \theta +f_y(x_0.y_0)\sin \theta \end{gathered}$$
令 $$\begin{gathered} A=(f_x(x_0,y_0),f_y(x_0,y_0))=Gradient(x_0,y_0) \\ I=(\cos \theta ,\sin \theta ) \end{gathered}$$
$$U=AI=\left|\begin{array}{c}A\end{array}\right|\left|\begin{array}{c}I\end{array}\right|\cos \alpha ⪕\left|\begin{array}{c}A\end{array}\right|\left|\begin{array}{c}I\end{array}\right|$$
当 $\alpha =0$, 即 $A$ 与 $I$ 共线时， $U$ 取得最大值，即方向变化最大。该最大变化的方向与梯度方向共线。
（一般来说，优化问题中，我们总是求最小优化问题，所以迭代更新方向时往往取“负梯度方向”。）

角度二：Taylor公式展开
Taylor公式展开如下：
$$f(x_0+\Delta x)=f(x_0)+f^{{}^{\prime }}(x_0)\Delta x+o(\Delta x)$$

$f(x_0+\Delta x)$ 与 $\Delta x$ 呈现出线性关系，$\Delta x$ 的系数 $f^{{}^{\prime }}(x_0)=gradient$ 就是变化方向。（该一次展开式给出了迭代更新的方向。）
若取步长为 $\lambda$，就可以进行“一阶逼近”。
$$x_n=x_{n-1}-\lambda \nabla f(x_{n-1})$$