边际概率的信息矩阵（二）

与第一篇流程几乎完全一样，唯一的不同之处在于：将要被 marg 掉的变量位于信息矩阵的右下角！
【符号约定】
随机变量$\mathrm{X}=[{\mathrm{X}}_r^T,{\mathrm{X}}_m^T{]}^T$；
下标$m,r$：分别表示margin, reserve；
$\Sigma ,\Lambda$：分别表示协方差矩阵、信息矩阵；
$p(\mathrm{X})=p({\mathrm{X}}_r,{\mathrm{X}}_m)$，表示联合概率；
$p({\mathrm{X}}_r)=\int p({\mathrm{X}}_r,{\mathrm{X}}_m)d{\mathrm{X}}_m$，表示边际概率。

假设随机变量服从零均值高斯分布。

---

已知联合概率$p(\mathrm{X})=p({\mathrm{X}}_r,{\mathrm{X}}_m)$对应的信息矩阵$\Lambda$，求边际概率$p({\mathrm{X}}_r)$对应的信息矩阵${\Lambda }_r^{\prime }$。

解：首先，$\Lambda$按变量的维数分块：
$$\Lambda =\left[\begin{array}{cc}{\Lambda }_{rr}& {\Lambda }_{rm}\\ {\Lambda }_{mr}& {\Lambda }_{mm}\end{array}\right]$$

我们知道把$p(\mathrm{X})$对应的信息矩阵求逆，将得到$p(\mathrm{X})$对应的协方差矩阵（反之亦然）：
$${\Lambda }^{-1}=\left[\begin{array}{cc}{\Sigma }_{rr}& {\Sigma }_{rm}\\ {\Sigma }_{mr}& {\Sigma }_{mm}\end{array}\right]=\Sigma \text{\hspace{1em}(1)}$$

式中，${\Sigma }_{rr}$即为边际概率$p({\mathrm{X}}_r)$对应的协方差矩阵。【从高斯联合概率分布中，显然可得】

此时，我们把该${\Sigma }_{rr}$求逆，将得到边际概率$p({\mathrm{X}}_r)$对应的信息矩阵${\Lambda }_r^{\prime }$，即为所求！
$${\Lambda }_r^{\prime }={\Sigma }_{rr}^{-1}$$

---

不难发现使用这种思路，我们求了两次逆。下面使用一些技巧：
对于公式（1），做一些变形构造${\Sigma }_{rr}^{-1}$：
$$\Lambda =\left[\begin{array}{cc}{\Lambda }_{rr}& {\Lambda }_{rm}\\ {\Lambda }_{mr}& {\Lambda }_{mm}\end{array}\right]={\left[\begin{array}{cc}{\Sigma }_{rr}& {\Sigma }_{rm}\\ {\Sigma }_{mr}& {\Sigma }_{mm}\end{array}\right]}^{-1}\text{\hspace{1em}(2)}$$

开始变形之前，给出两个公式（可以展开验证一下），
第一个：
$$\left[\begin{array}{cc}{\Sigma }_{rr}& {\Sigma }_{rm}\\ {\Sigma }_{mr}& {\Sigma }_{mm}\end{array}\right]=\left[\begin{array}{cc}I& 0\\ {\Sigma }_{mr}{\Sigma }_{rr}^{-1}& I\end{array}\right]\left[\begin{array}{cc}{\Sigma }_{rr}& 0\\ 0& {\Sigma }_{mm}-{\Sigma }_{mr}{\Sigma }_{rr}^{-1}{\Sigma }_{rm}\end{array}\right]\left[\begin{array}{cc}I& {\Sigma }_{rr}^{-1}{\Sigma }_{rm}\\ 0& I\end{array}\right]$$

我们定义${\Delta }_{{\Sigma }_{rr}}\triangleq {\Sigma }_{mm}-{\Sigma }_{mr}{\Sigma }_{rr}^{-1}{\Sigma }_{rm}$为${\Sigma }_{rr}$关于$\Sigma$的舒尔补。
第二个（求上式的逆）：
$$\begin{array}{rl}{\left[\begin{array}{cc}{\Sigma }_{rr}& {\Sigma }_{rm}\\ {\Sigma }_{mr}& {\Sigma }_{mm}\end{array}\right]}^{-1}& =\left[\begin{array}{cc}I& -{\Sigma }_{rr}^{-1}{\Sigma }_{rm}\\ 0& I\end{array}\right]\left[\begin{array}{cc}{\Sigma }_{rr}^{-1}& 0\\ 0& {\Delta }_{{\Sigma }_{rr}}^{-1}\end{array}\right]\left[\begin{array}{cc}I& 0\\ -{\Sigma }_{mr}{\Sigma }_{rr}^{-1}& I\end{array}\right]\\ & =\left[\begin{array}{cc}{\Sigma }_{rr}^{-1}+{\Sigma }_{rr}^{-1}{\Sigma }_{rm}{\Delta }_{{\Sigma }_{rr}}^{-1}{\Sigma }_{mr}{\Sigma }_{rr}^{-1}& -{\Sigma }_{rr}^{-1}{\Sigma }_{rm}{\Delta }_{{\Sigma }_{rr}}^{-1}\\ -{\Delta }_{{\Sigma }_{rr}}^{-1}{\Sigma }_{mr}{\Sigma }_{rr}^{-1}& {\Delta }_{{\Sigma }_{rr}}^{-1}\end{array}\right]\end{array}$$

将上式展开，代入公式（2），得：
$$\begin{array}{rl}\left[\begin{array}{cc}{\Lambda }_{rr}& {\Lambda }_{rm}\\ {\Lambda }_{mr}& {\Lambda }_{mm}\end{array}\right]& =\left[\begin{array}{cc}{\Sigma }_{rr}^{-1}+{\Sigma }_{rr}^{-1}{\Sigma }_{rm}{\Delta }_{{\Sigma }_{rr}}^{-1}{\Sigma }_{mr}{\Sigma }_{rr}^{-1}& -{\Sigma }_{rr}^{-1}{\Sigma }_{rm}{\Delta }_{{\Sigma }_{rr}}^{-1}\\ -{\Delta }_{{\Sigma }_{rr}}^{-1}{\Sigma }_{mr}{\Sigma }_{rr}^{-1}& {\Delta }_{{\Sigma }_{rr}}^{-1}\end{array}\right]\end{array}$$

对应元素相等，发现：
$${\Sigma }_{rr}^{-1}={\Lambda }_{rr}-{\Lambda }_{rm}{\Lambda }_{mm}^{-1}{\Lambda }_{mr}$$

惊奇地发现，得到了相同的公式！！