非线性最优化（一）——牛顿迭代法

牛顿迭代法可以用于：1、求方程的根，2、最优化。牛顿法涉及到方程求导，下面的讨论均是在连续可微的前提下讨论。

 1、求解方程。

并不是所有的方程都有求根公式，或者求根公式很复杂，导致求解困难。利用牛顿法，可以迭代求解。

原理是利用泰勒公式，在x_0处展开，且展开到一阶，即f(x) = f(x_0)+(x－x_0)f'(x_0)

求解方程f(x)=0，即f(x_0)+(x-x_0)*f'(x_0)=0，求解x = x_1=x_0－f(x_0)/f'(x_0)，因为这是利用泰勒公式的一阶展开，f(x) = f(x_0)+(x－x_0)f'(x_0)处并不是完全相等，而是近似相等，这里求得的x_1并不能让f(x)=0，只能说f(x_1)的值比f(x_0)更接近f(x)=0。于是乎，迭代求解的想法就很自然了，可以进而推出x_(n+1)=x_(n)－f(x_(n))/f'(x_(n))，通过迭代，这个式子必然在f（x*）=0的时候收敛。整个过程如下图：

 

2、牛顿法用于最优化

在最优化的问题中，线性最优化至少可以使用单纯行法求解，但对于非线性优化问题，牛顿法提供了一种求解的办法。假设任务是优化一个目标函数f，求函数f的极大极小问题，可以转化为求解函数f的导数f'=0的问题，这样求可以把优化问题看成方程求解问题(f'=0)。剩下的问题就和第一部分提到的牛顿法求解很相似了。

这次为了求解f'=0的根，把f(x(的泰勒展开，展开到2阶形式：

这个式子是成立的，当且仅当 Δx 无线趋近于0。此时上式等价于（对delta_x求导，并令其等于零）：

求解：

得出迭代公式：

一般认为牛顿法可以利用到曲线本身的信息，比梯度下降法更容易收敛（迭代更少次数）。如下图是一个最小化一个目标方程的例子，红色曲线是利用牛顿法迭代求解，绿色曲线是利用梯度下降法求解。牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。所以，可以说牛顿法比梯度下降法看得更远一点，能更快地走到最底部。根据wiki上的解释，从几何上说，牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面，而梯度下降法是用一个平面去拟合当前的局部曲面，通常情况下，二次曲面的拟合会比平面更好，所以牛顿法选择的下降路径会更符合真实的最优下降路径。

在上面讨论的是2维情况，高维情况的牛顿迭代公式是：

其中H是hessian矩阵，定义为：

 

高维情况依然可以用牛顿迭代求解，但是问题是Hessian矩阵引入的复杂性，使得牛顿迭代求解的难度大大增加，但是已经有了解决这个问题的办法就是Quasi-Newton method，不再直接计算hessian矩阵，而是每一步的时候使用梯度向量更新hessian矩阵的近似。