DFP算法

拟牛顿法

DFP算法

在拟牛顿法中取修正矩阵${\mathbf{D}}_k$为秩2矩阵
$${\mathbf{D}}_k=\alpha {\mathbf{u}}_k{\mathbf{u}}_k^T+\beta {\mathbf{v}}_k{\mathbf{v}}_k^T$$
于是
$$\left({\mathbf{H}}_k+\alpha {\mathbf{u}}_k{\mathbf{u}}_k^T+\beta {\mathbf{v}}_k{\mathbf{v}}_k^T\right){\mathbf{y}}_k={\mathbf{s}}_k$$
剩下懒得写了
推到和BFGS算法基本一样
把$\mathbf{B}$换成$\mathbf{H}$,然后$\mathbf{s}$和$\mathbf{y}$互换，就可以得到结果
$${\mathbf{H}}_{k+1}={\mathbf{H}}_k-\frac{{\mathbf{H}}_k{\mathbf{y}}_k{\mathbf{y}}_k^T{\mathbf{H}}_k}{{\mathbf{y}}_k^T{\mathbf{H}}_k{\mathbf{y}}_k}+\frac{{\mathbf{s}}_k{\mathbf{s}}_k^T}{{\mathbf{s}}_k^T{\mathbf{y}}_k}$$
$$\begin{array}{rl}{\mathbf{B}}_{k+1}& ={\mathbf{B}}_k-\frac{{\mathbf{y}}_k{\mathbf{s}}_k^T{\mathbf{B}}_k}{{\mathbf{y}}_k^T{\mathbf{s}}_k}-\frac{{\mathbf{B}}_k{\mathbf{s}}_k{\mathbf{y}}_k^T}{{\mathbf{y}}_k^T{\mathbf{s}}_k}+\frac{{\mathbf{y}}_k{\mathbf{s}}_k^T{\mathbf{B}}_k{\mathbf{s}}_k{\mathbf{y}}_k^T}{{\left({\mathbf{y}}_k^T{\mathbf{s}}_k\right)}^2}+\frac{{\mathbf{y}}_k{\mathbf{y}}_k^T}{{\mathbf{y}}_k^T{\mathbf{s}}_k}\\ & ={\left(\mathbf{I}-\frac{{\mathbf{s}}_k{\mathbf{y}}_k^T}{{\mathbf{y}}_k^T{\mathbf{s}}_k}\right)}^T{\mathbf{B}}_k\left(\mathbf{I}-\frac{{\mathbf{s}}_k{\mathbf{y}}_k^T}{{\mathbf{y}}_k^T{\mathbf{s}}_k}\right)+\frac{{\mathbf{y}}_k{\mathbf{y}}_k^T}{{\mathbf{y}}_k^T{\mathbf{s}}_k}\end{array}$$

性质

性质1

设${\mathbf{H}}_k$对称正定，${\mathbf{H}}_{k+1}$由DFP校正公式确定，则${\mathbf{H}}_{k+1}$对称正定的充要条件是${\mathbf{s}}_k^T{\mathbf{y}}_k>0$
证明：
和BFGS那篇一样

性质2

DFP中采用精确线搜索或者Wolfe搜索准则，则有${\mathbf{s}}_k^T{\mathbf{y}}_k>0$

尽管Armijo准则（回溯法）一般不能保证${\mathbf{s}}_k^T{\mathbf{y}}_k>0$
但是因为简单，所以可以采用
$${\mathbf{H}}_{k+1}=\{\begin{array}{ll}{\mathbf{H}}_k,& {\mathbf{s}}_k^T{\mathbf{y}}_k\le 0\\ {\mathbf{H}}_{k+1}={\mathbf{H}}_k-\frac{{\mathbf{H}}_k{\mathbf{y}}_k{\mathbf{y}}_k^T{\mathbf{H}}_k}{{\mathbf{y}}_k^T{\mathbf{B}}_k{\mathbf{y}}_k}+\frac{{\mathbf{s}}_k{\mathbf{s}}_k^T}{{\mathbf{s}}_k^T{\mathbf{y}}_k}& {\mathbf{s}}_k^T{\mathbf{y}}_k>0\end{array}$$
只要${\mathbf{B}}_0$时正定的，${\mathbf{B}}_{k+1}$也是正定的

步骤

初始化：选择起点${\mathbf{x}}_0$,
选择${\mathbf{H}}_0$(一般取${\nabla }^{-2}f\left({\mathbf{x}}_0\right)$或者$\mathbf{I}$ )

步骤
1.若$\Vert {\mathbf{g}}_k\Vert \le ϵ$,停止，输出${\mathbf{x}}_k$
2.计算${\mathbf{d}}_k=-{\mathbf{H}}_k{\mathbf{g}}_k$
3.求步长${\alpha }_k$
4.${\mathbf{x}}_{k+1}={\mathbf{x}}_k+{\alpha }_k{\mathbf{d}}_k$,矫正${\mathbf{H}}_k$得到${\mathbf{H}}_{k+1}$
5.k=k+1,转1