Newton法(牛顿法)

上一篇博客我们讲了最速下降法(梯度下降法)，梯度下降法简单，但是收敛的速度较慢。这一篇博客将会讲述牛顿法，牛顿法对于正定二次函数具有二次终止性，有较好的收敛速度。

   注：（二次终止性）对于$n$元的正定二次函数求极小值问题的算法，如果从任意点出发，经过有限次迭代就能够求得极小点，我们称这种算法具有二次终止性。具有二次终止性的算法，对于一般函数，一般也有较好的收敛速度。可知最速下降算法不具有二次终止性。

基本思想

如果目标函数$f(x)$具有二阶连续偏导数，其Hesse矩阵为$\nabla^2f(x)$（记$G(x)=\nabla^2f(x)$）为正定矩阵。在我们从$x_k$到$x_{k+1}$的迭代过程中，我们可以将函数$f(x)$在$x_k$处做Taylor展开，如下。

$$f(x)\approx Q(x)=f(x_k)+g(x_k)^T(x-x_k)+\frac{1}{2}(x-x_k)^TG(x)(x-x_k)$$ 其中， $g(x)$为函数 $f(x)$的一节偏导数。我们可以对 $Q(x)$求极小值，由于 $G(x)$是正定的，所以 $Q(x)$是正定二次函数，令 $\nabla Q(x)=0$，即 $$g(x_k)+G(x_k)(x-x_k)=0$$ 由此可求得

x=xk−G