Positive definiteness in Quasi-Newton Methods

最新推荐文章于 2022-12-15 12:57:06 发布

BogeyDa

最新推荐文章于 2022-12-15 12:57:06 发布

阅读量340

点赞数

分类专栏： Algorithm 文章标签：正定性拟牛顿法海森矩阵 DFP算法

本文链接：https://blog.csdn.net/lrglgy/article/details/90518776

版权

Algorithm 专栏收录该内容

20 篇文章 1 订阅

订阅专栏

第8章拟牛顿法中的正定性

续上一篇博客初学牛顿法,对牛顿法当中的一些疑问进行简单粗浅的分析及总结。下文中的拟牛顿算法都指DFP算法，BFPG算法和DFP算法的原理是一样的，所以正定性的推导过程差不多，在此不做过多赘述了。

8.1 问题及解决

问题细化：
拟牛顿法利用矩阵 $G_k$ 来近似牛顿法中的海森矩阵或其逆矩阵，牛顿法中的海森矩阵要求正定，如何保证拟牛顿法中的替换矩阵 $G_k$ 始终为正定？
解决办法：

一般设定替换矩阵的初始矩阵为单位矩阵，满足正定要求；
利用式子 $G_{k+1}=G_k+\Delta G_k$ 对 $G$ 进行迭代更新；
由于 $G_{k+1}$ 是海森矩阵的近似，因此它满足式子 $s_k=G_{k+1}y_k$ 且它是正定的；
在第三步中已经默认了 $G_{K+1}$ 为正定，因此拟牛顿法中保证替换矩阵正定的问题转换为如下：

求 $G_k$ 的改变量 $\Delta G_k$ ，从而保证 $G_k$ 始终满足式子 $s_k=G_{k+1}y_k$ ，其中 $s_k=x_{k+1}-x_k$ ， $y_k=g_{k+1}-g_k$ 。
接下来利用“待定法”，我们不知道 $\Delta G_k$ 到底是什么，但我们可以先将其待定为 $\Delta G_k=\alpha uu^T+\beta vv^T$ ，其中 $u$ 和 $v$ 都是n维向量(n行1列)；

个人理解：假设 $\Delta D_k=\alpha uu^T+\beta vv^T$ 的原因是矩阵加法必须满足两个矩阵行数列数相等。y式子 $s_k=G_{k+1} y_k$ 易知 $G_k$ 应该是一个n阶方阵，所以 $\Delta D_k$ 一定是一个n阶矩阵，通过上面的假设可以很容易保证 $G_k$ 是n阶矩阵并且还是对称矩阵，在计算求解方面更加方便。
将 $\Delta G_k$ 的表达式代入拟牛顿条件中，从而逆推出 $\Delta G_k$ 的值；

拟牛顿条件改变为
$\begin{aligned} s_k &= G_k y_k+\alpha uu^Ty_k+\beta vv^Ty_k\\ &= G_k y_k+ u(\alpha u^Ty_k)+v(\beta v^Ty_k) \end{aligned}\tag{1.1}$
易知， $\alpha u^Ty_k$ 和 $\beta v^Ty_k$ 是两个数，因此我们不妨作简单赋值
$\alpha u^Ty_k=1, \beta v^Ty_k=-1 \tag{1.2}$
可以得，
$\alpha=\frac{1}{u^Ty_k}, \beta=\frac{-1}{v^Ty_k}\tag{1.3}$
将式子(1.2)代入式子(1.1)，
$\begin{aligned} s_k-G_k y_k=u-v \end{aligned}$
得，
$u=s_k,v=G_k y_k$
此时可以求得 $\Delta D_k$ 的值如下，
$\Delta G_k=\frac{s_k^T s_k}{s_k^T y_k}-\frac{G_k y_k^T y_k G_k}{y_k^T G_k y_k}$
只要保证矩阵的改变量为 $\Delta G_k=\frac{s_k^T s_k}{s_k^T y_k}-\frac{G_k y_k^T y_k G_k}{y_k^T G_k y_k}$ 就可以保证海森矩阵的替换矩阵始终为正定，推导完毕。