牛顿法(Newton Method)的原理和实现步骤

牛顿法的法的目的

牛顿法不仅可以用来求解函数的极值问题,还可以用来求解方程的根,二者在本质上是一个问题,因为求解函数极值的思路是寻找导数为0的点,这就是求解方程。

牛顿法的法的原理

一元函数的情况

根据一元函数的泰勒展开公式,我们对目标函数在x_{0}点处做泰勒展开,有:

 如果忽略2次以上的项,则有:

现在我们在x_{0}点处,要以它为基础,找到导数为0的点,即导数为0。对上面等式两边同时求导,并令导数为0,可以得到下面的方程:

 

可以解得:

 

这样我们就得到了下一点的位置,从而走到x1。接下来重复这个过程,直到到达导数为0的点,由此得到牛顿法的迭代公式:

给定初始迭代点x_{0},反复用上面的公式进行迭代,直到达到导数为0的点或者达到最大迭代次数。

 多元函数的情况

根据多元函数的泰勒展开公式,我们对目标函数在x_{0}点处做泰勒展开,有:

 忽略二次及以上的项,并对上式两边同时求梯度,得到函数的导数(梯度向量)为:

 其中  即为Hessian矩阵,在后面我们写成H。令函数的梯度为0,则有:

 

这是一个线性方程组的解。如果将梯度向量简写为g,上面的公式可以简写为:

 

 从初始点x_{0}处开始,反复计算函数在处的Hessian矩阵和梯度向量,然后用下述公式进行迭代:

 

最终会到达函数的驻点处。其中  称为牛顿方向。迭代终止的条件是梯度的模接近于0,或者函数值下降小于指定阈值。

 实现细节

 总结

与梯度下降法相比,牛顿法的特点:

  1. 迭代次数少、收敛速度快;
  2. 得到的最小值点比较准确(至少在我的实验中如此);
  3. 没有选取步长的麻烦;
  4. 缺点是需要计算目标函数的二阶梯度,也就是Hessian矩阵,可能计算量较大。

 

 

  • 12
    点赞
  • 138
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GlassySky0816

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值