最优化学习笔记（七）——Levenberg-Marquardt修正（牛顿法修正）

    上节末尾谈到牛顿法中隐含的另外一个问题在于hessian矩阵可能不是正定的。因此，$\boldsymbol{d}^{(k)} = -\boldsymbol{F}(\boldsymbol{x}^{(k)})^{-1}\boldsymbol{g(x^{(k)})}$可能不会是下降方向。Levenberg-Marquardt修正可以解决这个问题，保证每次产生的方向是下降方向，修正后的迭代公式是：

$$\boldsymbol{x}^{(k+1)} =\boldsymbol{x}^{(k)} -(\boldsymbol{F}(\boldsymbol{x}^{(k)})+\mu_k\boldsymbol{I})^{-1}\boldsymbol{g(x^{(k)})}$$
其中， $\mu_k \ge 0$。
    下面对此进行说明。 $\boldsymbol{F}$为对称矩阵，并不要求是正定的。 $\boldsymbol{F}$的特征值为 $\lambda_1,\lambda_2,\dots, \lambda_n$，分别对应特征向量 $\boldsymbol{v}_1,\boldsymbol{v}_2, \dots, \boldsymbol{v}_n$.特征值全部为实数，但不要求全部为正数。对 $\boldsymbol{F}$进行简单的修正，得到矩阵 $\boldsymbol{G}=\boldsymbol{F}+\mu\boldsymbol{I}$，其中， $\mu \ge 0$。可知矩阵 $\boldsymbol{G}$的特征值为： $\lambda_1+\mu,\lambda_2+\mu,\dots, \lambda_n+\mu$,且满足：
$$\boldsymbol{G}\boldsymbol{v}_i = (\boldsymbol{F}+\mu\boldsymbol{I})\boldsymbol{v}_i \\ =\boldsymbol{F}\boldsymbol{v}_i + \mu\boldsymbol{I}\boldsymbol{v}_i\\ =\lambda_i\boldsymbol{v}_i + \mu\boldsymbol{v}_i\\ =(\lambda_i + \mu)\boldsymbol{v}_i$$
这说明只要 $\mu$足够大，就可以保证 $\boldsymbol{G}$的特征值都为正数，也就是说 $\boldsymbol{G}$为正定矩阵。同理，如果Levenberg-Marquardt中的 $\mu_k$足够大的话，总能保证搜索方向 $\boldsymbol{d}^{(k)} = -\boldsymbol{F}(\boldsymbol{x}^{(k)})^{-1}\boldsymbol{g(x^{(k)})}$是一个下降方向。引入一个搜索步长 $\alpha_k$,可以得到新的迭代公式:
$$\boldsymbol{x}^{(k+1)} =\boldsymbol{x}^{(k)} -\alpha_k(\boldsymbol{F}(\boldsymbol{x}^{(k)})+\mu_k\boldsymbol{I})^{-1}\boldsymbol{g(x^{(k)})}$$
在实际应用中，一开始可以选择 $\mu_k$较小的值，然后缓慢增加，直到出现下降特性。