优化之牛顿法

牛顿法分为两个应用，一个是求解方程，另一个是最优化问题。

1、求解方程

求解方程中，利用了函数的泰勒一阶展开。选择一个初始点x0，

在x0处展开：f(x) = f(x0)+(x－x0)f'(x0)。令f(x)=0得到x的解：x=x0－f(x0)/f'(x0)，但是此时的x并真的是方程的解，因为实际的f(x)和泰勒展开式是有差别的。有一点可以确信，x比x0要更加逼近于解。所以自然想到了迭代。令x1=x=x0－f(x0)/f'(x0)。

2、最优化

在求解方程的时候，是考虑令f(x)=0来迭代。优化问题中，我们可以考虑令f'(x)=0，选择一个初始点x0

在x0点展开二次泰勒式：

                                          

当 Δx 无线趋近于0，此时上式等价与：

求解：

得出迭代公式：