最优化学习笔记(十九)——拟牛顿法(5)BFGS算法

一、BFGS算法的更新公式

    为了推导BFGS算法，需要用到对偶或者互补的概念，前边已经讨论过hessian矩阵逆矩阵的近似矩阵需要满足以下条件：

$$\boldsymbol{H}_{k+1} \Delta\boldsymbol{g}^{(i)} = \Delta\boldsymbol{x}^{(i)} \quad 0 \le i\le k$$
这是根据 $\Delta\boldsymbol{g}^{(i)} = \boldsymbol{Q}\Delta\boldsymbol{x}^{(i)}, 0 \le i\le k$推导出来的。基于这一条件可以构造hessian矩阵逆矩阵近似矩阵的更新公式，秩1算法和DFP算法都是据此而来。但是除了构造逆矩阵的近似矩阵以外，还可以直接构造矩阵 $\boldsymbol{Q}$的近似矩阵。令矩阵 $\boldsymbol{B}_k$表示在第 $k$次迭代中关于矩阵$\boldsymbol{Q}$的估计，则 $\boldsymbol{B}_{k+1}$应该满足
$$\Delta\boldsymbol{g}^{(i)} = \boldsymbol{B}_{k+1}\Delta\boldsymbol{x}^{(i)}, 0 \le i\le k$$
可以看出，这组方程与 $\boldsymbol{H}_{k+1}$应该满足的方程十分相似，唯一的区别在于 $\Delta\boldsymbol{g}^{(i)}$和 $\Delta\boldsymbol{x}^{(i)}$互换。因此，给定关于 $\boldsymbol{H}_{k}$的更新公式，交换 $\Delta\boldsymbol{g}^{(i)}$和 $\Delta\boldsymbol{x}^{(i)}$的位置，并将 $\boldsymbol{H}_{k}$替换为 $\boldsymbol{B}_{k}$，就可以得到 $\boldsymbol{B}_{k}$的更新公式。
    在BFGS算法中，矩阵 $\boldsymbol{B}_{k}$对应着DFP算法的 $\boldsymbol{H}_{k}$.满足这两种结构的两类公式称为对偶或互补的。
    已知DFP算法中关于 $\boldsymbol{H}_{k}$，即hessian矩阵逆矩阵的近似矩阵的更新公式为：
$$\boldsymbol{H}_{k+1}^{DFP} = \boldsymbol{H}_{k} + \frac{\Delta\boldsymbol{x}^{(k)}\Delta\boldsymbol{x}^{(k)T}}{\Delta\boldsymbol{x}^{(k)T}\Delta\boldsymbol{g}^{(k)}} - \frac{\boldsymbol{H}_{k}\Delta\boldsymbol{g}^{(k)}\Delta\boldsymbol{g}^{(k)T}\boldsymbol{H}_{k}}{\Delta\boldsymbol{g}^{(k)}\boldsymbol{H}_{k}\Delta\boldsymbol{g}^{(k)T}}$$
利用互补概念，可以得到 $\boldsymbol{B}_{k}$,即hessian矩阵的近似矩阵为：
$$\boldsymbol{B}_{k+1} = \boldsymbol{B}_{k} + \frac{\Delta\boldsymbol{g}^{(k)}\Delta\boldsymbol{g}^{(k)T}}{\Delta\boldsymbol{g}^{(k)T}\Delta\boldsymbol{x}^{(k)}} - \frac{\boldsymbol{B}_{k}\Delta\boldsymbol{x}^{(k)}\Delta\boldsymbol{x}^{(k)T}\boldsymbol{B}_{k}}{\Delta\boldsymbol{x}^{(k)}\boldsymbol{B}_{k}\Delta\boldsymbol{x}^{(k)T}}$$
为了获得hessian矩阵逆矩阵的近似矩阵的更新公式，只需对矩阵 $\boldsymbol{B}_{k+1}$求逆即可。

二、谢尔曼——莫里森公式

    
引理 如果矩阵$\boldsymbol{A}$非奇异， $\boldsymbol{u}$和$\boldsymbol{v}$是列向量， 满足$1 + \boldsymbol{v}^T\boldsymbol{A}^{-1}\boldsymbol{u} \ne 0$， 那么$\boldsymbol{A} + \boldsymbol{uv}^T$非奇异，其逆矩阵可以用$\boldsymbol{A}^{-1}$表示，如下：

$$(\boldsymbol{A} + \boldsymbol{uv}^T)^{-1} = \boldsymbol{A}^{-1} - \frac{(\boldsymbol{A}^{-1}\boldsymbol{u})(\boldsymbol{v}^T\boldsymbol{A}^{-1})}{1 + \boldsymbol{v}^T\boldsymbol{A}^{-1}\boldsymbol{u}}$$
对应 $\boldsymbol{B}_{k+1}$应用2次引理， 可得：
$$\boldsymbol{H}_{k+1}^{BFGS} = \boldsymbol{H}_{k} + (1 + \frac{\Delta\boldsymbol{g}^{(k)T}\boldsymbol{H}_{k}\Delta\boldsymbol{g}^{(k)}}{\Delta\boldsymbol{g}^{(k)T}\Delta\boldsymbol{x}^{(k)}})\frac{\Delta\boldsymbol{x}^{(k)}\Delta\boldsymbol{x}^{(k)T}}{\Delta\boldsymbol{x}^{(k)T}\Delta\boldsymbol{g}^{(k)}}-\frac{\boldsymbol{H}_{k}\Delta\boldsymbol{g}^{(k)}\Delta\boldsymbol{x}^{(k)T} + (\boldsymbol{H}_{k}\Delta\boldsymbol{g}^{(k)}\Delta\boldsymbol{x}^{(k)T})^T}{\Delta\boldsymbol{g}^{(k)T}\Delta\boldsymbol{x}^{(k)}}$$
这就是BFGS算法中关于 $\boldsymbol{B}_{k}$的更新公式。BFGS算法保持了拟牛顿法的一切性质，包括共轭方向的性质，也能够使得近似矩阵一直保持正定。
    当迭代过程中一维搜索的精度不够高时，BFGS算法仍然比较稳健。这一性质有助于将计算资源从追求高精度的一维搜索中释放出来。就效率而言，BFGS算法要远超DFP算法。