两种方法的详细讲解可以参考:
梯度下降算法(Gradient Descent Optimization)
牛顿法(Newton Methods)、阻尼牛顿法和拟牛顿法
相同点
二者都是求解无约束最优化问题的常用方法
不同点
(1)原理方面
梯度下降法的搜索方向是沿着等高线的法向量方向进行搜索,每次迭代优化方向为梯度方向,即当前点所在等高线的法向。但往往等高线很少是正圆形,这种情况下搜索次数会过多。
牛顿法搜索方向为椭圆中心方向,这个方向也叫做牛顿方向,牛顿法的更新方程 H k − 1 ∇ f ( X k ) H_k^{-1} \nabla f(X_k) H<