Numerical Optimization---拟牛顿法

求最优化问题,在局部内用一个二次函数来近似在这里插入图片描述
要求对称正定时,才是下降方向
在这里插入图片描述

拟牛顿法

对于拟牛顿法,采用mk(p)f(xk+p)m_k(p)来近似f(x_k+p)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Bk+1=yk/sk=Δfk+1Δfkxk+1xkB_{k+1}=y_k/s_k=\frac{\Delta f_{k+1}-\Delta f_k}{x_{k+1}-x_k},即用一阶导数的割线secant 来近似
曲率条件保证存在这样的对称正定矩阵,当使用线搜索方法时,保证Wolf 条件存在,就可以保证曲率条件的存在性
在这里插入图片描述
在这里插入图片描述
Bk+1=yk/sk=Δfk+1Δfkxk+1xkB_{k+1}=y_k/s_k=\frac{\Delta f_{k+1}-\Delta f_k}{x_{k+1}-x_k}对应为n个方程,远小于B的未知个数
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
DFP是秩二修正

BFGS 方法
在这里插入图片描述

发布了285 篇原创文章 · 获赞 17 · 访问量 2万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 技术黑板 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览