牛顿法和最优化

牛顿法最早的应用是求解方程的根，先来张直观的动图说明求解过程：

开始时，先找一个离f(x)零点比较近的点x0,然后做出穿过(x0,f(x0))，且斜率为f(x0)’的直线（即f(x)在x0处的切线），该直线与x轴交点的位置将比x0更接近f(x)零点；

然后重复上一步的操作，这样得到的f(x)的切线与x轴交点将会离f(x)零点越来越近，当误差或迭代次数达到一定条件，我们就得到了满足需要精度的f(x)=0解。

下一个点与当前点的关系满足：
Xn+1 = xn - f(xn)/f’(xn) 【1】

牛顿法用于最优化的基本思想是：

对于函数g(x)，在其某区间上的极大或极小值处（其实只要是驻点都可以），有g’(x)=0,
于是，最优化问题又转化为牛顿法求解的问题，找到了让g’(x)=0的x值，也就找到了g(x)在该区间上的极大或极小值。

牛顿法的收敛速度很快，可以证明，它的收敛速度至少是二阶收敛的，但它需要计算二阶导数，初始点要选好，否则可能不收敛。

需要注意的是，用牛顿法求出来的其实是驻点，而驻点不一定是极大值或较小值，因此，为了保证牛顿法收敛到极小值点，应要求g’’(xn)>0,至少对足够大的n如此。