与第一篇流程几乎完全一样,唯一的不同之处在于:将要被 marg 掉的变量位于信息矩阵的右下角!
【符号约定】
随机变量
X
=
[
X
r
T
,
X
m
T
]
T
\Chi=[\Chi^T_r,\Chi^T_m]^T
X=[XrT,XmT]T;
下标
m
,
r
m,r
m,r:分别表示margin, reserve;
Σ
,
Λ
\Sigma,\Lambda
Σ,Λ:分别表示协方差矩阵、信息矩阵;
p
(
X
)
=
p
(
X
r
,
X
m
)
p(\Chi)=p(\Chi_r,\Chi_m)
p(X)=p(Xr,Xm),表示联合概率;
p
(
X
r
)
=
∫
p
(
X
r
,
X
m
)
d
X
m
p(\Chi_r)=\int p(\Chi_r,\Chi_m)d\Chi_m
p(Xr)=∫p(Xr,Xm)dXm,表示边际概率。
假设随机变量服从零均值高斯分布。
已知联合概率 p ( X ) = p ( X r , X m ) p(\Chi)=p(\Chi_r,\Chi_m) p(X)=p(Xr,Xm)对应的信息矩阵 Λ \Lambda Λ,求边际概率 p ( X r ) p(\Chi_r) p(Xr)对应的信息矩阵 Λ r ′ \Lambda'_r Λr′。
解:首先,
Λ
\Lambda
Λ按变量的维数分块:
Λ
=
[
Λ
r
r
Λ
r
m
Λ
m
r
Λ
m
m
]
\Lambda=\begin{bmatrix} \Lambda_{rr} & \Lambda_{rm} \\ \Lambda_{mr} & \Lambda_{mm} \\ \end{bmatrix}
Λ=[ΛrrΛmrΛrmΛmm]
我们知道把
p
(
X
)
p(\Chi)
p(X)对应的信息矩阵求逆,将得到
p
(
X
)
p(\Chi)
p(X)对应的协方差矩阵(反之亦然):
(1)
Λ
−
1
=
[
Σ
r
r
Σ
r
m
Σ
m
r
Σ
m
m
]
=
Σ
\Lambda^{-1}=\begin{bmatrix} \Sigma_{rr} & \Sigma_{rm} \\ \Sigma_{mr} & \Sigma_{mm} \\ \end{bmatrix}=\Sigma \tag{1}
Λ−1=[ΣrrΣmrΣrmΣmm]=Σ(1)
式中, Σ r r \Sigma_{rr} Σrr即为边际概率 p ( X r ) p(\Chi_r) p(Xr)对应的协方差矩阵。【从高斯联合概率分布中,显然可得】
此时,我们把该
Σ
r
r
\Sigma_{rr}
Σrr求逆,将得到边际概率
p
(
X
r
)
p(\Chi_r)
p(Xr)对应的信息矩阵
Λ
r
′
\Lambda'_r
Λr′,即为所求!
Λ
r
′
=
Σ
r
r
−
1
\Lambda'_r=\Sigma^{-1}_{rr}
Λr′=Σrr−1
不难发现使用这种思路,我们求了两次逆。下面使用一些技巧:
对于公式(1),做一些变形构造
Σ
r
r
−
1
\Sigma^{-1}_{rr}
Σrr−1:
(2)
Λ
=
[
Λ
r
r
Λ
r
m
Λ
m
r
Λ
m
m
]
=
[
Σ
r
r
Σ
r
m
Σ
m
r
Σ
m
m
]
−
1
\Lambda=\begin{bmatrix} \Lambda_{rr} & \Lambda_{rm} \\ \Lambda_{mr} & \Lambda_{mm} \\ \end{bmatrix} =\begin{bmatrix} \Sigma_{rr} & \Sigma_{rm} \\ \Sigma_{mr} & \Sigma_{mm} \\ \end{bmatrix}^{-1} \tag{2}
Λ=[ΛrrΛmrΛrmΛmm]=[ΣrrΣmrΣrmΣmm]−1(2)
开始变形之前,给出两个公式(可以展开验证一下),
第一个:
[
Σ
r
r
Σ
r
m
Σ
m
r
Σ
m
m
]
=
[
I
0
Σ
m
r
Σ
r
r
−
1
I
]
[
Σ
r
r
0
0
Σ
m
m
−
Σ
m
r
Σ
r
r
−
1
Σ
r
m
]
[
I
Σ
r
r
−
1
Σ
r
m
0
I
]
\begin{bmatrix} \Sigma_{rr} & \Sigma_{rm} \\ \Sigma_{mr} & \Sigma_{mm} \\ \end{bmatrix} = \begin{bmatrix} I & 0 \\ \Sigma_{mr} \Sigma^{-1}_{rr} & I \end{bmatrix} \begin{bmatrix} \Sigma_{rr} & 0 \\ 0 & \Sigma_{mm}-\Sigma_{mr}\Sigma^{-1}_{rr}\Sigma_{rm}\\ \end{bmatrix} \begin{bmatrix} I & \Sigma^{-1}_{rr}\Sigma_{rm} \\ 0 & I \end{bmatrix}
[ΣrrΣmrΣrmΣmm]=[IΣmrΣrr−10I][Σrr00Σmm−ΣmrΣrr−1Σrm][I0Σrr−1ΣrmI]
我们定义
Δ
Σ
r
r
≜
Σ
m
m
−
Σ
m
r
Σ
r
r
−
1
Σ
r
m
\Delta_{\Sigma_{rr}} \triangleq \Sigma_{mm}-\Sigma_{mr}\Sigma^{-1}_{rr}\Sigma_{rm}
ΔΣrr≜Σmm−ΣmrΣrr−1Σrm为
Σ
r
r
\Sigma_{rr}
Σrr关于
Σ
\Sigma
Σ的舒尔补。
第二个(求上式的逆):
[
Σ
r
r
Σ
r
m
Σ
m
r
Σ
m
m
]
−
1
=
[
I
−
Σ
r
r
−
1
Σ
r
m
0
I
]
[
Σ
r
r
−
1
0
0
Δ
Σ
r
r
−
1
]
[
I
0
−
Σ
m
r
Σ
r
r
−
1
I
]
=
[
Σ
r
r
−
1
+
Σ
r
r
−
1
Σ
r
m
Δ
Σ
r
r
−
1
Σ
m
r
Σ
r
r
−
1
−
Σ
r
r
−
1
Σ
r
m
Δ
Σ
r
r
−
1
−
Δ
Σ
r
r
−
1
Σ
m
r
Σ
r
r
−
1
Δ
Σ
r
r
−
1
]
\begin{aligned} \begin{bmatrix} \Sigma_{rr} & \Sigma_{rm} \\ \Sigma_{mr} & \Sigma_{mm} \\ \end{bmatrix}^{-1} &= \begin{bmatrix} I & -\Sigma^{-1}_{rr}\Sigma_{rm} \\ 0 & I \end{bmatrix} \begin{bmatrix} \Sigma_{rr}^{-1} & 0 \\ 0 & \Delta_{\Sigma_{rr}}^{-1} \\ \end{bmatrix} \begin{bmatrix} I & 0 \\ -\Sigma_{mr} \Sigma^{-1}_{rr} & I \end{bmatrix} \\ &= \begin{bmatrix} \Sigma_{rr}^{-1}+\Sigma_{rr}^{-1} \Sigma_{rm} \Delta_{\Sigma_{rr}}^{-1} \Sigma_{mr} \Sigma_{rr}^{-1} & -\Sigma_{rr}^{-1} \Sigma_{rm} \Delta_{\Sigma_{rr}}^{-1} \\ -\Delta_{\Sigma_{rr}}^{-1} \Sigma_{mr} \Sigma_{rr}^{-1} & \Delta_{\Sigma_{rr}}^{-1} \\ \end{bmatrix} \end{aligned}
[ΣrrΣmrΣrmΣmm]−1=[I0−Σrr−1ΣrmI][Σrr−100ΔΣrr−1][I−ΣmrΣrr−10I]=[Σrr−1+Σrr−1ΣrmΔΣrr−1ΣmrΣrr−1−ΔΣrr−1ΣmrΣrr−1−Σrr−1ΣrmΔΣrr−1ΔΣrr−1]
将上式展开,代入公式(2),得:
[
Λ
r
r
Λ
r
m
Λ
m
r
Λ
m
m
]
=
[
Σ
r
r
−
1
+
Σ
r
r
−
1
Σ
r
m
Δ
Σ
r
r
−
1
Σ
m
r
Σ
r
r
−
1
−
Σ
r
r
−
1
Σ
r
m
Δ
Σ
r
r
−
1
−
Δ
Σ
r
r
−
1
Σ
m
r
Σ
r
r
−
1
Δ
Σ
r
r
−
1
]
\begin{aligned} \begin{bmatrix} \Lambda_{rr} & \Lambda_{rm} \\ \Lambda_{mr} & \Lambda_{mm} \\ \end{bmatrix} &=\begin{bmatrix} \Sigma_{rr}^{-1}+\Sigma_{rr}^{-1} \Sigma_{rm} \Delta_{\Sigma_{rr}}^{-1} \Sigma_{mr} \Sigma_{rr}^{-1} & -\Sigma_{rr}^{-1} \Sigma_{rm} \Delta_{\Sigma_{rr}}^{-1} \\ -\Delta_{\Sigma_{rr}}^{-1} \Sigma_{mr} \Sigma_{rr}^{-1} & \Delta_{\Sigma_{rr}}^{-1} \\ \end{bmatrix} \end{aligned}
[ΛrrΛmrΛrmΛmm]=[Σrr−1+Σrr−1ΣrmΔΣrr−1ΣmrΣrr−1−ΔΣrr−1ΣmrΣrr−1−Σrr−1ΣrmΔΣrr−1ΔΣrr−1]
对应元素相等,发现:
Σ
r
r
−
1
=
Λ
r
r
−
Λ
r
m
Λ
m
m
−
1
Λ
m
r
\Sigma^{-1}_{rr}=\Lambda_{rr}-\Lambda_{rm}\Lambda_{mm}^{-1}\Lambda_{mr}
Σrr−1=Λrr−ΛrmΛmm−1Λmr
惊奇地发现,得到了相同的公式!!