牛顿法与拟牛顿法

最新推荐文章于 2024-08-15 17:21:12 发布

wsyhawl

最新推荐文章于 2024-08-15 17:21:12 发布

阅读量1w

点赞数 4

分类专栏：优化算法文章标签：算法优化机器学习牛顿法拟牛顿法

优化算法专栏收录该内容

2 篇文章 0 订阅

订阅专栏

看了几篇关于牛顿法的相关介绍，感觉非常好，尤其是拟牛顿条件的推导以及DFP等算法的推导过程十分详细明了。这里记录一下，方便之后查阅

牛顿法：

http://blog.csdn.net/itplus/article/details/21896453

拟牛顿条件：

http://blog.csdn.net/itplus/article/details/21896619

DFP算法：

http://blog.csdn.net/itplus/article/details/21896981

BFGS算法

http://blog.csdn.net/itplus/article/details/21897443

F-BFGS算法

http://blog.csdn.net/itplus/article/details/21897715

下面重点是牛顿法和拟牛顿法的一些思想，弱化了推导过程（详细的推导可参考前面的链接）：

转自：http://www.cnblogs.com/maybe2030/p/4751804.html

　　1）牛顿法（Newton's method）

　　牛顿法是一种在实数域和复数域上近似求解方程的方法。方法使用函数f (x)的泰勒级数的前面几项来寻找方程f (x) = 0的根。牛顿法最大的特点就在于它的收敛速度很快。

　　具体步骤：

　　首先，选择一个接近函数 f (x)零点的 x₀，计算相应的 f (x₀) 和切线斜率f ' (x₀)（这里f ' 表示函数 f 的导数）。然后我们计算穿过点(x_0,f (x₀)) 并且斜率为f '(x₀)的直线和 x 轴的交点的x坐标，也就是求如下方程的解：

　　我们将新求得的点的 x 坐标命名为x₁，通常x₁会比x₀更接近方程f (x) = 0的解。因此我们现在可以利用x₁开始下一轮迭代。迭代公式可化简为如下所示：

　　已经证明，如果f ' 是连续的，并且待求的零点x是孤立的，那么在零点x周围存在一个区域，只要初始值x₀位于这个邻近区域内，那么牛顿法必定收敛。并且，如果f ' (x)不为0, 那么牛顿法将具有平方收敛的性能. 粗略的说，这意味着每迭代一次，牛顿法结果的有效数字将增加一倍。下图为一个牛顿法执行过程的例子。

　　由于牛顿法是基于当前位置的切线来确定下一次的位置，所以牛顿法又被很形象地称为是"切线法"。牛顿法的搜索路径（二维情况）如下图所示：

　　关于牛顿法和梯度下降法的效率对比：

　　从本质上去看，牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。所以，可以说牛顿法比梯度下降法看得更远一点，能更快地走到最底部。（牛顿法目光更加长远，所以少走弯路；相对而言，梯度下降法只考虑了局部的最优，没有全局思想。）这一段简单来说就是梯度下降仅仅考虑了梯度，而牛顿法不仅考虑了梯度，而且还考虑了梯度的变化（即：梯度的梯度）。

　　根据wiki上的解释，从几何上说，牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面，而梯度下降法是用一个平面去拟合当前的局部曲面，通常情况下，二次曲面的拟合会比平面更好，所以牛顿法选择的下降路径会更符合真实的最优下降路径。

注：红色的牛顿法的迭代路径，绿色的是梯度下降法的迭代路径。

　　牛顿法的优缺点总结：

　　优点：二阶收敛，收敛速度快；

　　缺点：牛顿法是一种迭代算法，每一步都需要求解目标函数的Hessian矩阵的逆矩阵，计算比较复杂。

　　2）拟牛顿法（Quasi-Newton Methods）

　　拟牛顿法是求解非线性优化问题最有效的方法之一。

　　拟牛顿法的本质思想是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷，它使用正定矩阵（因为只有正定矩阵才能保证牛顿法的搜索方向是向下搜索的）来近似Hessian矩阵的逆，从而简化了运算的复杂度。拟牛顿法和最速下降法一样只要求每一步迭代时知道目标函数的梯度。通过测量梯度的变化，构造一个目标函数的模型使之足以产生超线性收敛性。这类方法大大优于最速下降法，尤其对于困难的问题。另外，因为拟牛顿法不需要二阶导数的信息，所以有时比牛顿法更为有效。如今，优化软件中包含了大量的拟牛顿算法用来解决无约束，约束，和大规模的优化问题。

　　具体步骤：

　　拟牛顿法的基本思想如下。首先构造目标函数在当前迭代x_k的二次模型：