牛顿法与Hessian矩阵

牛顿法可以用于求解方程的根和无约束最优化问题。其背后的数学原理分别对应的是一阶泰勒展开和二阶泰勒展开。

回顾泰勒公式展开：
$$f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)+\frac{1}{2}{f}^{\prime \prime }(x_0)(x-x0{)}^2+O((x-x_0{)}^3)$$

牛顿法求解方程的根

假设我们要求$f(x)$的实数根，也就是解方程$f(x)=0$，也就是求$f(x)$与$x$轴的交点。

将$f(x)$在$x_0$处一阶泰勒展开，并令其等于0
$$f(x_0)+f^{\prime }(x_0)(x-x_0)=0\text{\hspace{1em}(1)}$$
可以发现，（1）式其实是一条直线。也就是$f(x)$在$x=x_0$处的切线方程。我们求出切线方程与$x$轴的交点$x_a=x_0-\frac{f(x_0)}{f^{\prime }(x_0)}$

在上图中，蓝色的点为$f(x)=0$的根，黑色的点是$x_a$，我们继续求出$f(x)$在$x=x_a$处的切线方程与$x$轴的交点$x_b=x_a-\frac{f(x_a)}{f^{\prime }(x_a)}$。

就这样依次迭代，我们发现每次求出的$f(x)$的切线方程与$x$轴的交点都更接近于$f(x)$真实的根

下图第50次迭代就收敛了，就可以将$x_{50}$作为方程$f(x)=0$的解。

所以在一阶牛顿法中，迭代公式是$$x_{n+1}=x_n-\frac{f(x_n)}{f^{\prime }(x_n)}$$

牛顿法求解最优化问题

在机器学习中，有很多问题最后都转化为优化问题来解决，通常就是求损失函数的极值问题。在数学中，极值问题通常是令一阶导数为零，也就是求$f(x)$的极值点。这种情况就是求$f^{\prime }(x)=0$的根。

将$f(x)$在$x=x_0$处二阶泰勒展开。
$$f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)+\frac{1}{2}{f}^{\prime \prime }(x_0)(x-x0{)}^2+O((x-x_0{)}^3)\text{\hspace{1em}(2)}$$
忽略高阶项，对（2）式求导并令其为0
$$f^{\prime }(x)=f^{\prime }(x_0)+f^{\prime \prime }(x_0)(x-x_0)=0$$
求得其迭代公式为$$x_{n+1}=x_n-\frac{f^{\prime }(x_0)}{f^{\prime \prime }(x_0)}$$

由于梯度下降法只用到了一阶导数，而牛顿法用到了二阶导数，所以牛顿法收敛更快。

牛顿法与Hessian矩阵

以上推导只针对了单变量的问题，对于多变量的情况，牛顿法的迭代公式变成：

用到了一阶偏导数和二阶偏导数，分别对应雅可比矩阵和海塞矩阵。
$J$表示雅克比矩阵，对应一阶偏导数：

$H$表示Hessian矩阵，对应二阶偏导数：

多变量的牛顿法由于引入了Hessian矩阵，增加了复杂性，特别是当

• Hessian 矩阵非正定（非凸）导致无法收敛；
• Hessian 矩阵维度过大带来巨大的计算量。

针对这个问题，在 牛顿法无法有效执行的情况下，提出了很多改进方法，比如 拟牛顿法（Quasi-Newton Methods）可以看作是牛顿法的近似。

拟牛顿法 只需要用到一阶导数，不需要计算Hessian矩阵 以及逆矩阵，因此能够更快收敛，关于拟牛顿法之后学习了再更新。 总体来讲，拟牛顿法 都是用来解决 牛顿法 本身的 复杂计算、难以收敛、局部最小值等问题。

参考：https://blog.csdn.net/linolzhang/article/details/60151623
https://zhuanlan.zhihu.com/p/46536960