优化算法之牛顿法（转）

一、牛顿法

上述描述的都是只有一个自变量X的一元情况，如果是多元的，比如x1，x2，x3...,xn 呢？

二、对比分析梯度下降算法

从本质上去看，牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。所以，可以说牛顿法比梯度下降法看得更远一点，能更快地走到最底部。（牛顿法目光更加长远，所以少走弯路；相对而言，梯度下降法只考虑了局部的最优，没有全局思想。）

 

注：红色为牛顿法，绿色为梯度下降法

牛顿法的优缺点总结：

　　优点：二阶收敛，收敛速度快；

　　缺点：牛顿法是一种迭代算法，每一步都需要求解目标函数的Hessian矩阵的逆矩阵，计算比较复杂。

 

参考链接：https://www.cnblogs.com/ljy2013/p/5129294.html

参考链接：https://www.cnblogs.com/maybe2030/p/4751804.html

转载于:https://www.cnblogs.com/gczr/p/10208711.html