Broyden类算法

拟牛顿法
BFGS算法
DFP算法

Broyden类算法

Broyden类算法是BFGS和DFP校正的凸组合产生的一类校正族
$$\begin{array}{rl}{\mathbf{B}}_{k+1}^{\theta }& ={\theta }_k{\mathbf{B}}_{k+1}^{DFP}+\left(1-{\theta }_k\right){\mathbf{B}}_{k+1}^{BFGS}\\ & ={\mathbf{B}}_{k+1}^{BFGS}+{\theta }_k\left({\mathbf{B}}_{k+1}^{DFP}-{\mathbf{B}}_{k+1}^{BFGS}\right)\\ & ={\mathbf{B}}_k-\frac{{\mathbf{B}}_k{\mathbf{s}}_k{\mathbf{s}}_k^T{\mathbf{B}}_k}{{\mathbf{s}}_k^T{\mathbf{B}}_k{\mathbf{s}}_k}+\frac{{\mathbf{y}}_k{\mathbf{y}}_k^T}{{\mathbf{y}}_k^T{\mathbf{s}}_k}+{\theta }_k\left({\left(\mathbf{I}-\frac{{\mathbf{s}}_k{\mathbf{y}}_k^T}{{\mathbf{y}}_k^T{\mathbf{s}}_k}\right)}^T{\mathbf{B}}_k\left(\mathbf{I}-\frac{{\mathbf{s}}_k{\mathbf{y}}_k^T}{{\mathbf{y}}_k^T{\mathbf{s}}_k}\right)+\frac{{\mathbf{y}}_k{\mathbf{y}}_k^T}{{\mathbf{y}}_k^T{\mathbf{s}}_k}-{\mathbf{B}}_k+\frac{{\mathbf{B}}_k{\mathbf{s}}_k{\mathbf{s}}_k^T{\mathbf{B}}_k}{{\mathbf{s}}_k^T{\mathbf{B}}_k{\mathbf{s}}_k}-\frac{{\mathbf{y}}_k{\mathbf{y}}_k^T}{{\mathbf{y}}_k^T{\mathbf{s}}_k}\right)\\ & ={\mathbf{B}}_k-\frac{{\mathbf{B}}_k{\mathbf{s}}_k{\mathbf{s}}_k^T{\mathbf{B}}_k}{{\mathbf{s}}_k^T{\mathbf{B}}_k{\mathbf{s}}_k}+\frac{{\mathbf{y}}_k{\mathbf{y}}_k^T}{{\mathbf{y}}_k^T{\mathbf{s}}_k}+{\theta }_k\left({\mathbf{B}}_k-\frac{{\mathbf{y}}_k{\mathbf{s}}_k^T{\mathbf{B}}_k}{{\mathbf{y}}_k^T{\mathbf{s}}_k}-\frac{{\mathbf{B}}_k{\mathbf{s}}_k{\mathbf{y}}_k^T}{{\mathbf{y}}_k^T{\mathbf{s}}_k}+\frac{{\mathbf{y}}_k{\mathbf{s}}_k^T{\mathbf{B}}_k{\mathbf{s}}_k{\mathbf{y}}_k^T}{{\left({\mathbf{y}}_k^T{\mathbf{s}}_k\right)}^2}+\frac{{\mathbf{y}}_k{\mathbf{y}}_k^T}{{\mathbf{y}}_k^T{\mathbf{s}}_k}-{\mathbf{B}}_k+\frac{{\mathbf{B}}_k{\mathbf{s}}_k{\mathbf{s}}_k^T{\mathbf{B}}_k}{{\mathbf{s}}_k^T{\mathbf{B}}_k{\mathbf{s}}_k}-\frac{{\mathbf{y}}_k{\mathbf{y}}_k^T}{{\mathbf{y}}_k^T{\mathbf{s}}_k}\right)\\ & ={\mathbf{B}}_k-\frac{{\mathbf{B}}_k{\mathbf{s}}_k{\mathbf{s}}_k^T{\mathbf{B}}_k}{{\mathbf{s}}_k^T{\mathbf{B}}_k{\mathbf{s}}_k}+\frac{{\mathbf{y}}_k{\mathbf{y}}_k^T}{{\mathbf{y}}_k^T{\mathbf{s}}_k}+{\theta }_k\left(-\frac{{\mathbf{y}}_k{\mathbf{s}}_k^T{\mathbf{B}}_k}{{\mathbf{y}}_k^T{\mathbf{s}}_k}-\frac{{\mathbf{B}}_k{\mathbf{s}}_k{\mathbf{y}}_k^T}{{\mathbf{y}}_k^T{\mathbf{s}}_k}+\frac{{\mathbf{y}}_k{\mathbf{s}}_k^T{\mathbf{B}}_k{\mathbf{s}}_k{\mathbf{y}}_k^T}{{\left({\mathbf{y}}_k^T{\mathbf{s}}_k\right)}^2}+\frac{{\mathbf{B}}_k{\mathbf{s}}_k{\mathbf{s}}_k^T{\mathbf{B}}_k}{{\mathbf{s}}_k^T{\mathbf{B}}_k{\mathbf{s}}_k}\right)\\ & ={\mathbf{B}}_k-\frac{{\mathbf{B}}_k{\mathbf{s}}_k{\mathbf{s}}_k^T{\mathbf{B}}_k}{{\mathbf{s}}_k^T{\mathbf{B}}_k{\mathbf{s}}_k}+\frac{{\mathbf{y}}_k{\mathbf{y}}_k^T}{{\mathbf{y}}_k^T{\mathbf{s}}_k}+{\theta }_k\left({\mathbf{s}}_k^T{\mathbf{B}}_k{\mathbf{s}}_k\right)\left(\frac{{\mathbf{y}}_k}{{\mathbf{y}}_k^T{\mathbf{s}}_k}-\frac{{\mathbf{B}}_k{\mathbf{s}}_k}{{\mathbf{s}}_k^T{\mathbf{B}}_k{\mathbf{s}}_k}\right){\left(\frac{{\mathbf{y}}_k}{{\mathbf{y}}_k^T{\mathbf{s}}_k}-\frac{{\mathbf{B}}_k{\mathbf{s}}_k}{{\mathbf{s}}_k^T{\mathbf{B}}_k{\mathbf{s}}_k}\right)}^T\end{array}$$
令
$${\mathbf{u}}_k=\sqrt{{\mathbf{s}}_k^T{\mathbf{B}}_k{\mathbf{s}}_k}\left(\frac{{\mathbf{y}}_k}{{\mathbf{y}}_k^T{\mathbf{s}}_k}-\frac{{\mathbf{B}}_k{\mathbf{s}}_k}{{\mathbf{s}}_k^T{\mathbf{B}}_k{\mathbf{s}}_k}\right)$$
$$\begin{array}{rl}{\mathbf{B}}_{k+1}^{\theta }& ={\theta }_k{\mathbf{B}}_{k+1}^{DFP}+\left(1-{\theta }_k\right){\mathbf{B}}_{k+1}^{BFGS}\\ & ={\mathbf{B}}_k-\frac{{\mathbf{B}}_k{\mathbf{s}}_k{\mathbf{s}}_k^T{\mathbf{B}}_k}{{\mathbf{s}}_k^T{\mathbf{B}}_k{\mathbf{s}}_k}+\frac{{\mathbf{y}}_k{\mathbf{y}}_k^T}{{\mathbf{y}}_k^T{\mathbf{s}}_k}+{\theta }_k{\mathbf{u}}_k{\mathbf{u}}_k^T\end{array}$$

把$\mathbf{B}$换成$\mathbf{H}$,然后$\mathbf{s}$和$\mathbf{y}$互换
令
$${\mathbf{v}}_k=\sqrt{{\mathbf{y}}_k^T{\mathbf{H}}_k{\mathbf{y}}_k}\left(\frac{{\mathbf{s}}_k}{{\mathbf{s}}_k^T{\mathbf{y}}_k}-\frac{{\mathbf{H}}_k{\mathbf{y}}_k}{{\mathbf{y}}_k^T{\mathbf{H}}_k{\mathbf{y}}_k}\right)$$
$$\begin{array}{rl}{\mathbf{H}}_{k+1}^{\varphi }& ={\varphi }_k{\mathbf{H}}_{k+1}^{BFGS}+\left(1-{\varphi }_k\right){\mathbf{H}}_{k+1}^{DFP}\\ & ={\mathbf{H}}_k-\frac{{\mathbf{H}}_k{\mathbf{y}}_k{\mathbf{y}}_k^T{\mathbf{H}}_k}{{\mathbf{y}}_k^T{\mathbf{H}}_k{\mathbf{y}}_k}+\frac{{\mathbf{s}}_k{\mathbf{s}}_k^T}{{\mathbf{s}}_k^T{\mathbf{y}}_k}+{\varphi }_k{\mathbf{v}}_k{\mathbf{v}}_k^T\end{array}$$

可以证明(没证明过)
$${\theta }_k=\frac{1-{\varphi }_k}{1-{\varphi }_k\left(1-{\mu }_k\right)}$$
其中
$${\mu }_k=\frac{\left({\mathbf{s}}_k^T{\mathbf{B}}_k{\mathbf{s}}_k\right)\left({\mathbf{y}}_k^T{\mathbf{H}}_k{\mathbf{y}}_k\right)}{{\left({\mathbf{s}}_k^T{\mathbf{y}}_k\right)}^2}$$

性质

性质1

用Broyden族算法求解
$$\min f\left(\mathbf{x}\right)=\frac{1}{2}{\mathbf{x}}^T\mathbf{G}\mathbf{x}+{\mathbf{b}}^T\mathbf{x}+c$$
若初始矩阵${\mathbf{H}}_0$是正定的，算法所产生的迭代点是互异的。则
（1）当${\mathbf{y}}_k^T{\mathbf{s}}_k>0$且${\varphi }_k\ge 0$或${\theta }_k\ge 0$时，Broyden族校正公式保持正定性
（2）算法所产生的搜索方向${\mathbf{d}}_0,\cdots ,{\mathbf{d}}_k\left(k\ge n-1\right)$满足
（a)${\mathbf{d}}_i^T\mathbf{G}{\mathbf{d}}_j=0,0\le i<j\le k$
(b)${\mathbf{H}}_k^{\varphi }{\mathbf{y}}_i={\mathbf{s}}_i,0\le i\le k-1$
证明：
（1）与前面BFGS那里类似
（2）再说吧

$${\mathbf{H}}_{k+1}=\{\begin{array}{ll}{\mathbf{H}}_k,& {\mathbf{s}}_k^T{\mathbf{y}}_k\le 0\\ {\mathbf{H}}_{k+1}={\mathbf{H}}_k-\frac{{\mathbf{H}}_k{\mathbf{y}}_k{\mathbf{y}}_k^T{\mathbf{H}}_k}{{\mathbf{y}}_k^T{\mathbf{B}}_k{\mathbf{y}}_k}+\frac{{\mathbf{s}}_k{\mathbf{s}}_k^T}{{\mathbf{s}}_k^T{\mathbf{y}}_k}+\varphi {\mathbf{v}}_k{\mathbf{v}}_k^T& {\mathbf{s}}_k^T{\mathbf{y}}_k>0\end{array}$$

步骤

初始化：选择起点${\mathbf{x}}_0$,
选择${\mathbf{H}}_0$(一般取${\nabla }^{-2}f\left({\mathbf{x}}_0\right)$或者$\mathbf{I}$ )

步骤
1.若$\Vert {\mathbf{g}}_k\Vert \le ϵ$,停止，输出${\mathbf{x}}_k$
2.计算${\mathbf{d}}_k=-{\mathbf{H}}_k{\mathbf{g}}_k$
3.求步长${\alpha }_k$
4.${\mathbf{x}}_{k+1}={\mathbf{x}}_k+{\alpha }_k{\mathbf{d}}_k$,矫正${\mathbf{H}}_k$得到${\mathbf{H}}_{k+1}$
5.k=k+1,转1