机器学习算法__1__牛顿法,拟牛顿法,DFP,BFGS,L-BFGS 原理及代码详解(1)

本文详细介绍了牛顿法在求解方程根和优化问题中的应用,包括一阶泰勒展开和二阶泰勒展开的原理,以及在高维情况下的迭代公式。同时,由于高维情况下计算海森矩阵的逆运算量过大,提出了拟牛顿法的思想,即寻找一个矩阵替代海森矩阵的逆以满足拟牛顿条件。此外,文章还对比了牛顿法与最速下降算法,并提及 Armijo 准则在非精确线性搜索中的作用。最后,给出了阻尼牛顿法的算法描述。
摘要由CSDN通过智能技术生成

一.牛顿法

Taylor公式 – Maclaurin公式:



1.求根问题:

牛顿法的最初提出是用来求解方程的根的。我们假设点x∗为函数f(x)的根,那么有f(x)=0。现在我们把函数f(x)在点xk处一阶泰勒展开有:

           

那么假设点xk+1为该方程的根,则有

            

那么就可以得到

                

这样我们就得到了一个递归方程,我们可以通过迭代的方式不断的让x趋近于x∗从而求得方程

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值