Hessian矩阵逆矩阵的近似
一、拟牛顿法的基本思路
令
H0,H1,H2,…
表示Hessian矩阵逆矩阵
F(x(k))−1
的一系列近似矩阵。我们要讨论的是这些近似矩阵应该满足的条件,这是拟牛顿法的基础。首先,假定目标函数
f
的Hessian矩阵
g(k+1)−g(k)=Q(x(k+1)−x(k))
令
Δg(k)=g(k+1)−g(k)Δx(k)=x(k+1)−x(k)
可得
Δg(k)=QΔx(k)
记对称正定实矩阵 H0 作为近似矩阵的初始矩阵,在给定的 k 下,矩阵
Q−1Δg(i)=Δx(i),0≤i≤k
因此,近似矩阵 Hk+1 应该满足
Hk+1Δg(i)=Δx(i),0≤i≤k
如果共展开 n 次迭代,则共产生
HnΔg(0)=Δx(0)HnΔg(1)=Δx(1)⋮HnΔg(n−1)=Δx(n−1)
将其改写为
Hn[Δg(0),Δg(1),…,Δg(n−1)]=[Δx(0),Δx(1),…,Δx(n−1)]
矩阵 Q 能够满足:
Q[Δx(0),Δx(1),…,Δx(n−1)]=[Δg(0),Δg(1),…,Δg(n−1)]
和
Q−1[Δg(0),Δg(1),…,Δg(n−1)]=[Δx(0),Δx(1),…,Δx(n−1)]
这说明, 如果 [Δg(0),Δg(1),…,Δg(n−1)] 非奇异,那么矩阵 Q−1 能够在 n 次迭代之后唯一确定, 即
由此,可得如果 Hn 能够使得方程 HnΔg(i)=Δx(i),0≤i≤n−1 成立, 那么利用迭代公式 x(k+1)=x(k)−αkHkgk,αk=argmina≥0f(x(k)−αHkgk) 求解 n 维二次优化问题,可得
二、 拟牛顿法的的迭代公式
拟牛顿法的的迭代公式为:
d(k)=−Hkg(k)αk=argmina≥0f(x(k)+αd(k))x(k+1)=x(k)+αkd(k)
其中, H0,H1,H2,… 是对称矩阵。
目标函数为二次型函数时,它们必须满足
Hk+1Δg(i)=Δx(i),0≤i≤k
其中, Δx(i)=x(i+1)−x(i)=αid(k),Δg(i)=g(i+1)−g(i)=QΔx(i)
实际上,拟牛顿法也是一种共轭方法。
三、定理
将拟牛顿法应用到二次型问题中, Hessian矩阵为 Q=QT , 对于 0≤k≤n−1 , 有:
Hk+1Δg(i)=Δx(i),0≤i≤k
其中
Hk+1=HTk+1
。如果
αi≠0,0≤i≤k
, 那么
d(0),d(1),⋯,d(k+1)
是
Q
共轭的。
由以上定理可知,对于
n
维二次型问题,拟牛顿法最多经过