一阶梯度法、二阶段梯度法、牛顿法

目标

有一个函数$f(x)$,我们要求得函数的最小值（或者最大值），由于最值点一般也是极值点，所以求出所有极值点，然后进行对比就能得到我们要的最值，可以理解为一个最小二乘的问题$$\underset{x}{\min }\frac{1}{2}\Vert f(x){\Vert }_2^2$$

解法

最暴力的方法，直接求解$$\frac{d\frac{1}{2}\Vert f(x){\Vert }_2^2}{dx}=0$$
当然，如果能够直接解出结果，那就很好了，但是大多数情况下很难解。当没法求解的时候，可以采用迭代的方法：

1. 给定某个初始值$x_0$。
2. 对于第k次迭代，寻找一个增量$\Delta x$,使得$\Vert f(x_k+\Delta x){\Vert }_2^2$达到极小值。
3. 若$\Delta x足够小，则停止$。
4. 否则，令$x_{k+1}=x_k+\Delta x_k$,返回第2步。

下面介绍一下几个迭代的方法,都是在找$\Delta x$

一阶梯度法

将$f(x)$在x附近进行泰勒展开$$\Vert f(x+\Delta x){\Vert }_2^2\approx \Vert f(x){\Vert }_2^2+J(x)\Delta x+\frac{1}{2}\Delta x^{T}H\Delta x$$
x是常量，同时也是个向量;$\Delta x$才是变量，$J(x)$是$||f(x)|{|}_2^{2}d$的雅可比矩阵，$H$是海塞矩阵，可以将J(x)理解为矩阵形式的一阶导数，$H$理解为矩阵形式的二阶导数

导数：指的是函数值增加的速度，速度是个向量（有大小，有方向），在一维的情况下，也是一样的，可以这样理解，假设 f ( x ) = 1 2 x 2 f(x)=\frac{1}{2}x^2 f(x)=