伍德伯里矩阵恒等式(Woodbury matrix identity)


宜言饮酒,与子偕老。琴瑟在御,莫不静好。

更多精彩内容请关注微信公众号 “优化与算法

在数学(特别是线性代数)中,Woodbury矩阵恒等式是以Max A.Woodbury命名的,它 可以通过对原矩阵的逆进行秩k校正来计算某个矩阵的秩k校正的逆。这个公式的另一个名字是矩阵逆引理,谢尔曼-莫里森-伍德伯里(Sherman–Morrison–Woodbury formula)公式或只是伍德伯里公式。然而,在伍德伯里发现之前,这一等式出现在其他文献中。

1. 伍德伯里矩阵恒等式

( A + U C V ) − 1 = A − 1 − A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1 \displaystyle \left(A+UCV\right)^{-1}=A^{-1}-A^{-1}U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1} (A+UCV)1=A1A1U(C1+VA1U)1VA1

其中 A A A U U U C C C V V V都表示适形尺寸的矩阵。具体来说, A A A 的大小为 n × n n×n n×n U U U n × k n×k n×k C C C k × k k×k k×k V V V k × n k×n k×n

2. 扩展

不失一般性,可用单位矩阵替换矩阵A和C:
( I + U V ) − 1 = I − U ( I + V U ) − 1 V \displaystyle \left(I+UV\right)^{-1}=I-U\left(I+VU\right)^{-1}V (I+UV)1=IU(I+VU)1V

这里 U = A − 1 X \displaystyle U=A^{-1}X U=A1X, V = C Y \displaystyle V=CY V=CY

这个等式本身可以看作是两个简单等式的组合,即等式
( I + P ) − 1 = I − ( I + P ) − 1 P = I − P ( I + P ) − 1 \displaystyle (I+P)^{-1}=I-(I+P)^{-1}P=I-P(I+P)^{-1} (I+P)1=I(I+P)1P=IP(I+P)1

和所谓的 push-through 等式
( I + U V ) − 1 U = U ( I + V U ) − 1 \displaystyle (I+UV)^{-1}U=U(I+VU)^{-1} (I+UV)1U=U(I+VU)1的结合。

3. 特殊情况

V , U \displaystyle V,U V,U 是向量时,伍德伯里恒等式退化为谢尔曼-莫里森公式,在标量情况下,它(简化版)只是:
1 1 + u v = 1 − u v 1 + u v \displaystyle {\frac {1}{1+uv}}=1-{\frac {uv}{1+uv}} 1+uv1=11+uvuv

如果 p = q p=q p=q U = V = I p U=V=I_p U=V=Ip 是单位矩阵,那么
( A + B ) − 1 = A − 1 − A − 1 ( B − 1 + A − 1 ) − 1 A − 1 \left({A}+{B}\right)^{-1} =A^{-1}-A^{-1}(B^{-1}+A^{-1})^{-1}A^{-1} (A+B)1=A1A1(B1+A1)1A1

= A − 1 − A − 1 ( I + B A − 1 ) − 1 B A − 1 . ={A}^{-1}-{A}^{-1}\left({I}+{B}{A}^{-1}\right)^{-1}{B}{A}^{-1}. =A1A1(I+BA1)1BA1.
继续合并上述方程最右边的项,就可以得到一下恒等式:
( A + B ) − 1 = A − 1 − ( A + A B − 1 A ) − 1 \displaystyle \left({A}+{B}\right)^{-1}={A}^{-1}-\left({A}+{A}{B}^{-1}{A}\right)^{-1} (A+B)1=A1(A+AB1A)1

此等式的另一个有用的形式是:
( A − B ) − 1 = A − 1 + A − 1 B ( A − B ) − 1 \displaystyle \left({A}-{B}\right)^{-1}={A}^{-1}+{A}^{-1}{B}\left({A}-{B}\right)^{-1} (AB)1=A1+A1B(AB)1

它有一个递归结构:
( A − B ) − 1 = ∑ k = 0 ∞ ( A − 1 B ) k A − 1 \displaystyle \left({A}-{B}\right)^{-1}=\sum _{k=0}^{\infty }\left({A}^{-1}{B}\right)^{k}{A}^{-1} (AB)1=k=0(A1B)kA1

这种形式可用于微扰展开式,其中 B B B A A A 的微扰。

4. 推广

二项式逆定理(Binomial Inverse Theorem)
如果 A A A U U U B B B V V V 分别是 p × p p×p p×p p × q p×q p×q q × q q×q q×q q × p q×p q×p的矩阵,那么:
( A + U B V ) − 1 = A − 1 − A − 1 U B ( B + B V A − 1 U B ) − 1 B V A − 1 \displaystyle \left(A+UBV\right)^{-1}=A^{-1}-A^{-1}UB\left(B+BVA^{-1}UB\right)^{-1}BVA^{-1} (A+UBV)1=A1A1UB(B+BVA1UB)1BVA1

前提是 A A A B + B V A − 1 U B B+BVA-1UB B+BVA1UB 是非奇异的。后者的非奇异性要求 B − 1 B^{-1} B1 存在,因为它等于 B ( I + V A = 1 u b ) B(I+VA=1ub) BI+VA1ub,并且后者的秩不能超过 B B B 的秩。由于 B B B 是可逆的,所以在右手边的附加量逆的两边的两个 B B B 项可以被 ( B − 1 ) − 1 (B^{-1})^{-1} (B1)1 替换,从而得到原始的Woodbury恒等式:
( A + U B V ) − 1 = A − 1 − A − 1 U ( I + B V A − 1 U ) − 1 B V A − 1 \displaystyle (A+UBV)^{-1}=A^{-1}-A^{-1}U(I+BVA^{-1}U)^{-1}BVA^{-1} (A+UBV)1=A1A1U(I+BVA1U)1BVA1

在某些情况下, A A A 是有可能是奇异的。

5. 延伸

公式可以通过检查 A + U C V A+UCV A+UCV 乘以伍德伯里恒等式右侧的所谓逆得到恒等式矩阵来证明:
( A + U C V ) [ A − 1 − A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1 ] \left(A+UCV\right)\left[A^{-1}-A^{-1}U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\right] (A+UCV)[A1A1U(C1+VA1U)1VA1]
= { I − U ( C − 1 + V A − 1 U ) − 1 V A − 1 } + { U C V A − 1 − U C V A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1 } = ={}\left\{I-U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\right\}+\left\{UCVA^{-1}-UCVA^{-1}U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\right\}={} ={IU(C1+VA1U)1VA1}+{UCVA1UCVA1U(C1+VA1U)1VA1}=
{ I + U C V A − 1 } − { U ( C − 1 + V A − 1 U ) − 1 V A − 1 + U C V A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1 } = \left\{I+UCVA^{-1}\right\}-\left\{U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}+UCVA^{-1}U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\right\}= {I+UCVA1}{U(C1+VA1U)1VA1+UCVA1U(C1+VA1U)1VA1}=
+ U C V A − 1 − ( U + U C V A − 1 U ) ( C − 1 + V A − 1 U ) − 1 V A − 1 = +UCVA^{-1}-\left(U+UCVA^{-1}U\right)\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}= +UCVA1(U+UCVA1U)(C1+VA1U)1VA1=
+ U C V A − 1 − U C ( C − 1 + V A − 1 U ) ( C − 1 + V A − 1 U ) − 1 V A − 1 + U C V A − 1 − U C V A − 1 ( A + B ) − 1 +UCVA^{-1}-UC\left(C^{-1}+VA^{-1}U\right)\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}+UCVA^{-1}-UCVA^{-1}\left({A}+{B}\right)^{-1} +UCVA1UC(C1+VA1U)(C1+VA1U)1VA1+UCVA1UCVA1(A+B)1 = A − 1 − A − 1 ( B − 1 + A − 1 ) − 1 A − 1 =A^{-1}-A^{-1}(B^{-1}+A^{-1})^{-1}A^{-1} =A1A1(B1+A1)1A1$
= A − 1 − A − 1 ( I + B A − 1 ) − 1 B A − 1 . ={A}^{-1}-{A}^{-1}\left({I}+{B}{A}^{-1}\right)^{-1}{B}{A}^{-1}. =A1A1(I+BA1)1BA1..

参考文献

https://en.wikipedia.org/wiki/Woodbury_matrix_identity

往期文章链接:
最大比率发射(Maximum Ratio Transmission, MRT)

线性降维:主成分分析PCA原理分析与仿真验证

5G+AI:有哪些新的研究方向和新范式?

简述3D点云配准算法

5G为人工智能与工业互联网赋能|79页高清PPT

智能算法|以动物命名的算法

一份超全面的机器学习公共数据集

矩阵填充|奇异值阈值算法

可重构/大规模智能反射表面reconfigurable/large intelligent surface综述

迭代硬阈值类算法总结||IHT/NIHT/CGIHT/HTP

软阈值迭代算法(ISTA)和快速软阈值迭代算法(FISTA)

伍德伯里矩阵恒等式(Woodbury matrix identity)

压缩感知:一种新型亚采样技术

更多精彩内容请关注微信公众号 “优化与算法

在这里插入图片描述

  • 11
    点赞
  • 66
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
Wishart分布的可加性可以通过证明矩阵的对数行列式的可加性来得到。具体地,假设$W_1$和$W_2$是两个$p \times p$的Wishart分布的矩阵,自由度分别为$n_1$和$n_2$,尺度矩阵分别为$V_1$和$V_2$。则矩阵的对数行列式的和为: $$ \begin{aligned} \log|W_1 + W_2| &= \log|W_1(I + W_1^{-1}W_2)| \\ &= \log|W_1| + \log|I + W_1^{-1}W_2| \\ &= (n_1-p-1)\log|V_1| - \sum_{i=1}^p\log\Gamma\left(\frac{n_1+1-i}{2}\right) \\ &\quad +\log|I + W_1^{-1}W_2| \\ &\quad + (n_2-p-1)\log|V_2| - \sum_{i=1}^p\log\Gamma\left(\frac{n_2+1-i}{2}\right) \\ &= \log|W_1| + \log|I + W_1^{-1/2}(W_1^{-1/2}W_2W_1^{-1/2})W_1^{-1/2}| \\ &\quad + \log|W_2| \\ &\quad - \log|I + W_1^{-1/2}(W_1^{-1/2}W_2W_1^{-1/2})W_1^{-1/2} + W_2^{-1/2}(W_1^{-1/2}W_2W_1^{-1/2})W_2^{-1/2}| \\ &\quad -\sum_{i=1}^p\log\Gamma\left(\frac{n_1+1-i}{2}\right) - \sum_{i=1}^p\log\Gamma\left(\frac{n_2+1-i}{2}\right) \end{aligned} $$ 其中,我们使用了矩阵Woodbury矩阵恒等式$(A+UCV)^{-1}=A^{-1}-A^{-1}U(C^{-1}+VA^{-1}U)^{-1}VA^{-1}$,并将$W_1$分解为$W_1=Z_1Z_1^T$,其中$Z_1$是$p \times n_1$的矩阵,满足$Z_1^TZ_1=V_1$。同理,将$W_2$分解为$W_2=Z_2Z_2^T$,其中$Z_2$是$p \times n_2$的矩阵,满足$Z_2^TZ_2=V_2$。 进一步地,我们可以使用矩阵的特征值分解将上式中的$\log|I + W_1^{-1/2}(W_1^{-1/2}W_2W_1^{-1/2})W_1^{-1/2}|$表示为: $$ \begin{aligned} \log|I + W_1^{-1/2}(W_1^{-1/2}W_2W_1^{-1/2})W_1^{-1/2}| &= \sum_{i=1}^p\log(1+\lambda_i) \\ &= \sum_{i=1}^p\log\left(\frac{\lambda_i}{1+\lambda_i}\right) + \sum_{i=1}^p\log(1+\lambda_i) \\ &= \log|W_1^{-1}W_2| + \sum_{i=1}^p\log(1+\lambda_i) \end{aligned} $$ 其中,$\lambda_i$是矩阵$W_1^{-1/2}(W_1^{-1/2}W_2W_1^{-1/2})W_1^{-1/2}$的第$i$个特征值。 综上所述,我们可以将$\log|W_1+W_2|$表示为: $$ \begin{aligned} \log|W_1 + W_2| &= \log|W_1| + \log|W_2| + \log|I + W_1^{-1}W_2| \\ &\quad + \sum_{i=1}^p\log(1+\lambda_i) \\ &\quad -\log|I + W_1^{-1/2}(W_1^{-1/2}W_2W_1^{-1/2})W_1^{-1/2} + W_2^{-1/2}(W_1^{-1/2}W_2W_1^{-1/2})W_2^{-1/2}| \\ &\quad -\sum_{i=1}^p\log\Gamma\left(\frac{n_1+1-i}{2}\right) - \sum_{i=1}^p\log\Gamma\left(\frac{n_2+1-i}{2}\right) \end{aligned} $$ 因此,我们证明了Wishart分布的可加性。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值