本文介绍了优化方法中的拟牛顿法，特别是DFP和BFGS算法。讨论了Hessian矩阵的近似，以及这两种算法的迭代过程和正定性证明。BFGS算法由于避免了DFP的一些问题，实践中更常被使用。通过代码实现和实验比较，展示了在Rosen函数下，BFGS和DFP相对于共轭梯度法的优势，尽管二阶优化方法的空间复杂度较高，限制了其在高维数据中的应用。
本节介绍：
- hessian matrix 近似
- DFP算法
- bfgs算法
hessian matrix 近似
牛顿法的基本思路是用二次函数来局部逼近目标函数 f 并解近似函数的极小点作为下一个迭代点,迭代公式
但是牛顿法的缺陷是需要计算hessian矩阵，及其逆矩阵，但是实际上我们如果能保证 f(xk+1)<f(xk) , 就ok了，即我们想找到一个类似 F−1 的矩阵 Hk ,使得迭代点
xxk+1=xxk−αHHkgk满足f(xk+1)<f(xk)
在 xxk+1 出对 f(xk+1) 一阶泰勒展开
f(xxk+1)=f(xk)+gTk(xk+1−xk)+o(||xk+1−xk||)=f(xk)−αgTk
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
