多元高斯分布中条件分布与边缘分布的相关公式

在阅读高斯过程（GPs）时，我认为能够证明有关多元高斯分布的一些基本事实将是有用的，这些高斯分布是GP的基础。 即，如何证明多元高斯的条件分布和边际分布也是高斯，并给出其形式。

首先，我们知道，一个均值为$\mu$、协方差矩阵为$\Sigma$的多元正态分布的概率密度函数可以表示为
$$\frac{1}{(2\pi {)}^{k/2}{|\Sigma |}^{1/2}}exp(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))$$
为了简化表示，我现在假设分布的均值为零，但是所有内容都应以一种直接的方式延续到更一般的情况下。

进一步地，在这里我们将$x$拆分成两部分$\left[\begin{array}{c}a\\ b\end{array}\right]$，因此我们接下来将研究两个新的分布：条件分布$p(a|b)$和边缘分布$p(b)$。首先，我们将原有的协方差矩阵$\Sigma$变形为一个分块矩阵的形式$\left[\begin{array}{cc}A& C^T\\ C& B\end{array}\right]$，其中$A$表示变量$a$的协方差矩阵，$B$表示变量$b$的协方差矩阵，$C$表示交叉项(cross-terms)。

现在，我们希望能够写出逆协方差矩阵${\left[\begin{array}{cc}A& C^T\\ C& B\end{array}\right]}^{-1}$。 我们可以利用 Schur complement方法并将其写为：
$${\left[\begin{array}{cc}A& C^T\\ C& B\end{array}\right]}^{-1}=\left[\begin{array}{cc}I& 0\\ -B^{-1}C& I\end{array}\right]\left[\begin{array}{cc}(A-C^T{B}^{-1}C{)}^{-1}& 0\\ 0& B^{-1}\end{array}\right]\left[\begin{array}{cc}I& -C^T{B}^{-1}\\ 0& I\end{array}\right]$$

我将在下面解释如何得出这一点。现在，我们知道联合分布可以写成
$$p(a,b)\propto \exp \left(-\frac{1}{2}{\left[\begin{array}{c}a\\ b\end{array}\right]}^T{\left[\begin{array}{cc}A& C^T\\ C& B\end{array}\right]}^{-1}\left[\begin{array}{c}a\\ b\end{array}\right]\right)$$

我们可以用块协方差矩阵的逆的上述表达式代替，如果我们通过乘以外部矩阵来简化，则可以得到
$$p(a,b)\propto \exp \left(-\frac{1}{2}{\left[\begin{array}{c}a-C^T{B}^{-1}b\\ b\end{array}\right]}^T\left[\begin{array}{cc}(A-C^T{B}^{-1}C{)}^{-1}& 0\\ 0& B^{-1}\end{array}\right]\left[\begin{array}{c}a-C^T{B}^{-1}b\\ b\end{array}\right]\right)$$
利用中心矩阵是块对角线的事实，我们有

$$p(a,b)\propto \exp \left(-\frac{1}{2}(a-C^T{B}^{-1}b{)}^T(A-C^T{B}^{-1}C{)}^{-1}(a-C^T{B}^{-1}b)\right)\exp \left(-\frac{1}{2}{b}^T{B}^{-1}b\right)$$

至此，我们已经完成许多工作。 如果我们以b为条件，则第二个指数项作为常数消失，我们有
$$p(a|b)\sim \mathcal{N}\left(C^T{B}^{-1}b,(A-C^T{B}^{-1}C)\right)$$

请注意，如果$a$和$b$不相关，则$C=0$，我们只得到$a$的边际分布。如果我们对$a$进行边际化，则可以将第二个指数项拉到积分之外，并且第一个项只是高斯分布的密度，因此它积分为1，我们发现
$$p(b)={\int }_{a}p(a,b)\sim \mathcal{N}(0,B)$$

上面，我写道，您可以使用Schur complement获得协方差逆矩阵的块矩阵形式。 实际将如何得出呢？ 如Wikipedia页面中所述，可以使用Gaussian elimination方法来推导逆表达式。

延伸阅读

阅读有关高斯过程的维基百科页面后，我便开始了这一思路。作为快速入门，页面上对GP的简要介绍的外部链接有所帮助。 MacKay和Rasmussen的视频讲座既不错，又有助于加深对GP的了解。

MacKay还对Humble Gaussian distribution发表了一篇不错的短文，它提供了有关高斯分布的协方差和逆协方差矩阵的更多信息。特别地，逆协方差矩阵告诉您两个变量之间的关系，并以所有其他变量为条件，因此如果您将某些变量边缘化，则它们会发生变化。逆协方差矩阵中偏离对角线元素的符号与两个变量之间相关性的符号相反，该条件以所有其他变量为条件。

要深入研究高斯过程，可以阅读Rasmussen和Williams所著的《高斯机器学习过程的高斯》一书，该书可在线获得。附录包含有关高斯恒等式和矩阵恒等式的有用事实和参考，例如矩阵求逆引理，高斯消除的另一种应用是确定逆，在这种情况下为矩阵求和的逆。

---

参考文献

1.关于在CSDN中如何插入数学公式的使用参考大全

2.[CSDN_Markdown] 使用LaTeX写矩阵

3.CSDN Markdown 公式大全

4.在CSDN-Markdown中书写多行大括号公式

5.Conditional and marginal distributions of a multivariate Gaussian