最优化学习笔记(十八)——拟牛顿法(4)DFP算法

    秩2算法可以保证在任意第$k$步迭代下， 只要一维搜索是精确的，近似矩阵$\boldsymbol{H}_k$就是正定的。

DFP算法

1. 令$k=0$,选择初始点$\boldsymbol{x}^{(0)}$，任意选择一个堆成正定实矩阵$\boldsymbol{H}_0$。
2. 如果$\boldsymbol{g}^{(k)} = \boldsymbol{0}$， 停止迭代； 否则，令$\boldsymbol{d}^{(k)} =-\boldsymbol{H}_k\boldsymbol{g}^{(k)}$
3. 计算
   $$\alpha_k = \arg \min_{\alpha \ge 0} f(\boldsymbol{x}^{(k)} + \alpha\boldsymbol{d}^{(k)} ) \\ \boldsymbol{x}^{(k+1)} = \boldsymbol{x}^{(k)} + \alpha_k\boldsymbol{d}^{(k)}$$
   4.计算
   $$\Delta\boldsymbol{x}^{(k)} = \alpha_k\boldsymbol{d}^{(k)} \\ \Delta\boldsymbol{g}^{(k)} = \boldsymbol{g}^{(k+1)} - \boldsymbol{g}^{(k)}\\ \boldsymbol{H}_{k+1} = \boldsymbol{H}_k + \frac{\Delta\boldsymbol{x}^{(k)}\Delta\boldsymbol{x}^{(k)T}}{\Delta\boldsymbol{x}^{(k)T}\Delta\boldsymbol{g}^{(k)} } +\frac{[\boldsymbol{H}_k \Delta\boldsymbol{g}^{(k)}][\boldsymbol{H}_k \Delta\boldsymbol{g}^{(k)}]^T}{\Delta\boldsymbol{g}^{(k)T}\boldsymbol{H}_k \Delta\boldsymbol{g}^{(k)}}$$
   5.令 $k==k+1$, 回到第二步。

定理18.1 利用DFP算法求解二次型问题时，Hessian矩阵为$\boldsymbol{Q} = \boldsymbol{Q}^T， 有\boldsymbol{H}_{k+1}\Delta\boldsymbol{g}^{(i)}=\Delta\boldsymbol{x}^{(i)}, 0 \le i \le k$成立。

    需要说明的是DFP算法是一种共轭方法。
定理18.2 假定$\boldsymbol{g}^{(k)} \ne \boldsymbol{0}$，在DFP算法中，只要矩阵$\boldsymbol{H}_{k}$是正定的， $\boldsymbol{H}_{k+1}$就一定是正定的。

    DFP算法能够使得$\boldsymbol{H}_{k}$是正定的，因此它由于秩1算法，但是，处理一些规模较大的非二次型问题时，DFP算法会被“卡住”，迭代无法继续展开，原因是$\boldsymbol{H}_{k}$矩阵接近称为奇异矩阵了，后续的BFGS算法可以解决这一问题。