最优化学习笔记(十六)——拟牛顿法(2)

Hessian矩阵逆矩阵的近似

一、拟牛顿法的基本思路

    令$\boldsymbol{H_0,H_1, H_2}, \dots$表示Hessian矩阵逆矩阵$\boldsymbol{F}(\boldsymbol{x}^{(k)})^{-1}$的一系列近似矩阵。我们要讨论的是这些近似矩阵应该满足的条件，这是拟牛顿法的基础。首先，假定目标函数$f$的Hessian矩阵$\boldsymbol{F(x)}$是常数矩阵，与$\boldsymbol{x}$无关，即目标函数是二次型函数，$\boldsymbol{F(x) = Q， Q=Q}^T$则：

$$\boldsymbol{g}^{(k+1)} - \boldsymbol{g}^{(k)} = \boldsymbol{Q}(\boldsymbol{x}^{(k+1)}- \boldsymbol{x}^{(k)})$$
令
$$\Delta\boldsymbol{g}^{(k)} = \boldsymbol{g}^{(k+1)} - \boldsymbol{g}^{(k)} \\ \Delta\boldsymbol{x}^{(k)} = \boldsymbol{x}^{(k+1)}- \boldsymbol{x}^{(k)}$$
可得
$$\Delta\boldsymbol{g}^{(k)} = \boldsymbol{Q}\Delta\boldsymbol{x}^{(k)}$$
记对称正定实矩阵 $\boldsymbol{H_0}$作为近似矩阵的初始矩阵，在给定的 $k$下，矩阵 $\boldsymbol{Q}^{-1}$应该满足：
$$\boldsymbol{Q}^{-1}\Delta\boldsymbol{g}^{(i)} = \Delta\boldsymbol{x}^{(i)} , \quad 0 \le i \le k$$
因此，近似矩阵 H