热门算法总结 —— DFGS

1、算法简介

（1）概述：DFGS是一种拟牛顿优化算法。拟牛顿法是针对牛顿法中海塞矩阵迭代过程中不一定正定所提出来的改进方法。即通过构造一个与海塞矩阵相差不太远的正定矩阵作为其替代。此外，拟牛顿法可以迭代更新海塞逆矩阵，而不是在每一时刻都重新进行逆矩阵的计算。拟牛顿法常用的计算规则包括DFP算法、BFGS算法、Broyden算法、SRI算法等。可以证明，当初始点离最优点足够近时，拟牛顿法和牛顿法具有同样的二次收敛速率。

（2）主要用途：解优化问题，求最优参数值。

（3）优缺点

[1] 优点：有拟牛顿法的全部优点，并且在一定条件下可以证明在BFGS法中使用不精确一维搜索有全局收敛性。

[2] 缺点：理解起来比较复杂，且在一定情况下不便于使用。

2、算法流程

3、模拟例子

（1）说明

[1] 数据情况：f (x;w)。

[2] 研究目的：找出模型参数w的最优值。

（2）分析步骤

[1] 第一步：设定w的初值；

[2] 第二步：使用BFGS