宜言饮酒,与子偕老。琴瑟在御,莫不静好。
更多精彩内容请关注微信公众号 “优化与算法”
在数学(特别是线性代数)中,Woodbury矩阵恒等式是以Max A.Woodbury命名的,它 可以通过对原矩阵的逆进行秩k校正来计算某个矩阵的秩k校正的逆。这个公式的另一个名字是矩阵逆引理,谢尔曼-莫里森-伍德伯里(Sherman–Morrison–Woodbury formula)公式或只是伍德伯里公式。然而,在伍德伯里发现之前,这一等式出现在其他文献中。
1. 伍德伯里矩阵恒等式
( A + U C V ) − 1 = A − 1 − A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1 \displaystyle \left(A+UCV\right)^{-1}=A^{-1}-A^{-1}U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1} (A+UCV)−1=A−1−A−1U(C−1+VA−1U)−1VA−1
其中 A A A、 U U U、 C C C 和 V V V都表示适形尺寸的矩阵。具体来说, A A A 的大小为 n × n n×n n×n, U U U 为 n × k n×k n×k, C C C 为 k × k k×k k×k, V V V 为 k × n k×n k×n。
2. 扩展
不失一般性,可用单位矩阵替换矩阵A和C:
(
I
+
U
V
)
−
1
=
I
−
U
(
I
+
V
U
)
−
1
V
\displaystyle \left(I+UV\right)^{-1}=I-U\left(I+VU\right)^{-1}V
(I+UV)−1=I−U(I+VU)−1V
这里 U = A − 1 X \displaystyle U=A^{-1}X U=A−1X, V = C Y \displaystyle V=CY V=CY。
这个等式本身可以看作是两个简单等式的组合,即等式
(
I
+
P
)
−
1
=
I
−
(
I
+
P
)
−
1
P
=
I
−
P
(
I
+
P
)
−
1
\displaystyle (I+P)^{-1}=I-(I+P)^{-1}P=I-P(I+P)^{-1}
(I+P)−1=I−(I+P)−1P=I−P(I+P)−1
和所谓的 push-through 等式
(
I
+
U
V
)
−
1
U
=
U
(
I
+
V
U
)
−
1
\displaystyle (I+UV)^{-1}U=U(I+VU)^{-1}
(I+UV)−1U=U(I+VU)−1的结合。
3. 特殊情况
当
V
,
U
\displaystyle V,U
V,U 是向量时,伍德伯里恒等式退化为谢尔曼-莫里森公式,在标量情况下,它(简化版)只是:
1
1
+
u
v
=
1
−
u
v
1
+
u
v
\displaystyle {\frac {1}{1+uv}}=1-{\frac {uv}{1+uv}}
1+uv1=1−1+uvuv
如果
p
=
q
p=q
p=q 和
U
=
V
=
I
p
U=V=I_p
U=V=Ip 是单位矩阵,那么
(
A
+
B
)
−
1
=
A
−
1
−
A
−
1
(
B
−
1
+
A
−
1
)
−
1
A
−
1
\left({A}+{B}\right)^{-1} =A^{-1}-A^{-1}(B^{-1}+A^{-1})^{-1}A^{-1}
(A+B)−1=A−1−A−1(B−1+A−1)−1A−1
=
A
−
1
−
A
−
1
(
I
+
B
A
−
1
)
−
1
B
A
−
1
.
={A}^{-1}-{A}^{-1}\left({I}+{B}{A}^{-1}\right)^{-1}{B}{A}^{-1}.
=A−1−A−1(I+BA−1)−1BA−1.
继续合并上述方程最右边的项,就可以得到一下恒等式:
(
A
+
B
)
−
1
=
A
−
1
−
(
A
+
A
B
−
1
A
)
−
1
\displaystyle \left({A}+{B}\right)^{-1}={A}^{-1}-\left({A}+{A}{B}^{-1}{A}\right)^{-1}
(A+B)−1=A−1−(A+AB−1A)−1
此等式的另一个有用的形式是:
(
A
−
B
)
−
1
=
A
−
1
+
A
−
1
B
(
A
−
B
)
−
1
\displaystyle \left({A}-{B}\right)^{-1}={A}^{-1}+{A}^{-1}{B}\left({A}-{B}\right)^{-1}
(A−B)−1=A−1+A−1B(A−B)−1
它有一个递归结构:
(
A
−
B
)
−
1
=
∑
k
=
0
∞
(
A
−
1
B
)
k
A
−
1
\displaystyle \left({A}-{B}\right)^{-1}=\sum _{k=0}^{\infty }\left({A}^{-1}{B}\right)^{k}{A}^{-1}
(A−B)−1=k=0∑∞(A−1B)kA−1
这种形式可用于微扰展开式,其中 B B B 是 A A A 的微扰。
4. 推广
二项式逆定理(Binomial Inverse Theorem)
如果
A
A
A,
U
U
U,
B
B
B,
V
V
V 分别是
p
×
p
p×p
p×p,
p
×
q
p×q
p×q,
q
×
q
q×q
q×q,
q
×
p
q×p
q×p的矩阵,那么:
(
A
+
U
B
V
)
−
1
=
A
−
1
−
A
−
1
U
B
(
B
+
B
V
A
−
1
U
B
)
−
1
B
V
A
−
1
\displaystyle \left(A+UBV\right)^{-1}=A^{-1}-A^{-1}UB\left(B+BVA^{-1}UB\right)^{-1}BVA^{-1}
(A+UBV)−1=A−1−A−1UB(B+BVA−1UB)−1BVA−1
前提是
A
A
A 和
B
+
B
V
A
−
1
U
B
B+BVA-1UB
B+BVA−1UB 是非奇异的。后者的非奇异性要求
B
−
1
B^{-1}
B−1 存在,因为它等于
B
(
I
+
V
A
=
1
u
b
)
B(I+VA=1ub)
B(I+VA=1ub),并且后者的秩不能超过
B
B
B 的秩。由于
B
B
B 是可逆的,所以在右手边的附加量逆的两边的两个
B
B
B 项可以被
(
B
−
1
)
−
1
(B^{-1})^{-1}
(B−1)−1 替换,从而得到原始的Woodbury恒等式:
(
A
+
U
B
V
)
−
1
=
A
−
1
−
A
−
1
U
(
I
+
B
V
A
−
1
U
)
−
1
B
V
A
−
1
\displaystyle (A+UBV)^{-1}=A^{-1}-A^{-1}U(I+BVA^{-1}U)^{-1}BVA^{-1}
(A+UBV)−1=A−1−A−1U(I+BVA−1U)−1BVA−1
在某些情况下, A A A 是有可能是奇异的。
5. 延伸
公式可以通过检查
A
+
U
C
V
A+UCV
A+UCV 乘以伍德伯里恒等式右侧的所谓逆得到恒等式矩阵来证明:
(
A
+
U
C
V
)
[
A
−
1
−
A
−
1
U
(
C
−
1
+
V
A
−
1
U
)
−
1
V
A
−
1
]
\left(A+UCV\right)\left[A^{-1}-A^{-1}U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\right]
(A+UCV)[A−1−A−1U(C−1+VA−1U)−1VA−1]
=
{
I
−
U
(
C
−
1
+
V
A
−
1
U
)
−
1
V
A
−
1
}
+
{
U
C
V
A
−
1
−
U
C
V
A
−
1
U
(
C
−
1
+
V
A
−
1
U
)
−
1
V
A
−
1
}
=
={}\left\{I-U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\right\}+\left\{UCVA^{-1}-UCVA^{-1}U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\right\}={}
={I−U(C−1+VA−1U)−1VA−1}+{UCVA−1−UCVA−1U(C−1+VA−1U)−1VA−1}=
{
I
+
U
C
V
A
−
1
}
−
{
U
(
C
−
1
+
V
A
−
1
U
)
−
1
V
A
−
1
+
U
C
V
A
−
1
U
(
C
−
1
+
V
A
−
1
U
)
−
1
V
A
−
1
}
=
\left\{I+UCVA^{-1}\right\}-\left\{U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}+UCVA^{-1}U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\right\}=
{I+UCVA−1}−{U(C−1+VA−1U)−1VA−1+UCVA−1U(C−1+VA−1U)−1VA−1}=
+
U
C
V
A
−
1
−
(
U
+
U
C
V
A
−
1
U
)
(
C
−
1
+
V
A
−
1
U
)
−
1
V
A
−
1
=
+UCVA^{-1}-\left(U+UCVA^{-1}U\right)\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}=
+UCVA−1−(U+UCVA−1U)(C−1+VA−1U)−1VA−1=
+
U
C
V
A
−
1
−
U
C
(
C
−
1
+
V
A
−
1
U
)
(
C
−
1
+
V
A
−
1
U
)
−
1
V
A
−
1
+
U
C
V
A
−
1
−
U
C
V
A
−
1
(
A
+
B
)
−
1
+UCVA^{-1}-UC\left(C^{-1}+VA^{-1}U\right)\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}+UCVA^{-1}-UCVA^{-1}\left({A}+{B}\right)^{-1}
+UCVA−1−UC(C−1+VA−1U)(C−1+VA−1U)−1VA−1+UCVA−1−UCVA−1(A+B)−1
=
A
−
1
−
A
−
1
(
B
−
1
+
A
−
1
)
−
1
A
−
1
=A^{-1}-A^{-1}(B^{-1}+A^{-1})^{-1}A^{-1}
=A−1−A−1(B−1+A−1)−1A−1$
=
A
−
1
−
A
−
1
(
I
+
B
A
−
1
)
−
1
B
A
−
1
.
={A}^{-1}-{A}^{-1}\left({I}+{B}{A}^{-1}\right)^{-1}{B}{A}^{-1}.
=A−1−A−1(I+BA−1)−1BA−1..
参考文献
https://en.wikipedia.org/wiki/Woodbury_matrix_identity
往期文章链接:
最大比率发射(Maximum Ratio Transmission, MRT)
可重构/大规模智能反射表面reconfigurable/large intelligent surface综述
迭代硬阈值类算法总结||IHT/NIHT/CGIHT/HTP
软阈值迭代算法(ISTA)和快速软阈值迭代算法(FISTA)
伍德伯里矩阵恒等式(Woodbury matrix identity)
更多精彩内容请关注微信公众号 “优化与算法”