目录
- BFGS
1.1BFGS公式推导
1.2 python实现 - L-BFGS
1.1 L-BFGS的完整推导
1.BFGS
1.1BFGS公式推导
BFGS是可以认为是由DFP算法推导出来的,上篇文章有详细的推导:(拟牛顿法公式推导以及python代码实现(一))
目前BFGS被证明是最有效的拟牛顿优化方法。它的思想是根据我们已知的两个拟牛顿条件:
关于Hess近似的:Bk+1sk=yk(1)
如该矩阵存在逆矩阵有:
关于逆Hess近似的:Hk+1yk=sk(2)
通过交换
Hk←→BK,sk←→yk
可以从DFP的关于