牛顿法、阻尼牛顿法和多种拟牛顿法 （DFP、BFGS、L-BFGS） 推导和介绍

牛顿法

牛顿法是一种近似求解方程的方法，方法使用函数f(x)的泰勒展开前几项来寻找f(x)=0的根。

1.具体步骤：

1. 选择一个接近f(x)零点的x0和切线斜率f’(x0)，然后计算穿过（x0,f(x0)）并且斜率为f’(x0)的直线与x轴交点x坐标，即求解：
   
   -再选择一个x1比x0更接近f(x)=0的解，令x–>x1，开始迭代：
   
   remark: 已经证明若f’为连续，并且待求的零点为孤立的，那么零点X存在一个区域，只要初始值X0在该区域内，那么牛顿法必定收敛。
2. 当N>1时，二阶泰勒展开得到：
   
   同样求极小值，其中必要条件为必是函数的驻点，即

（g为梯度