数值优化-牛顿法

一般来说, 牛顿法主要应用在两个方面, 

        1, 求方程的根; 2, 最优化。

1,求方程的根

其原理便是使用泰勒展开,然后去线性部分,即:

                (1)

然后令上式等于0,则有:

                                (2)

经过不断迭代:

                             (3)

当精度达到要求的时候停止迭代。

迭代示意图如上所示。

2,最优化

最优化一般是求极大或极小问题,这可以转变为求导数零点,然后转变为求方程的根的情形。

即f' = 0;

把f(x)用泰勒公式展开到二阶,即:

                                          (4)

等号左边和f(x)近似相等,抵消。然后对求导,得到:

                                                                           (5)

更进一步:

                                                                                (6)

然后得到迭代式子:

                                                            (7)

以上只针对单变量进行讨论,如果对多变量就要引入雅克比矩阵和海森矩阵

简单介绍一下二者,雅克比矩阵为函数对各自变量的一阶导数,海森矩阵为函数对自变量的二次微分。形式分别如下:

把两个矩阵代入(7)中

参考文献:

Newton's method -- wikipedia

Jacobian矩阵和Hessian矩阵

微信扫码订阅
UP更新不错过~
关注

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:1024 设计师:我叫白小胖 返回首页
评论
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值