PRML学习笔记-条件高斯分布与边缘高斯分布的常用性质

条件高斯分布与边缘高斯分布的常用性质

基本知识

多元高斯分布的一个重要性质是,如果两组变量是联合高斯分布,那么以一组变量为条件,另一组变量同样是高斯分布。类似地,任何一个变量的边缘分布也是高斯分布。
首先考虑条件概率的情形。假设 x 是一个服从高斯分布 $\mathcal{N}(\mathbf{x}|\mathbf{\mu },\mathbf{\Sigma })$ 的D维向量。我们把$\mathbf{x}$划分成两个不相交的子集${\mathbf{x}}_a$和${\mathbf{x}}_b$。不失一般性,我们可以令${\mathbf{x}}_a$为$\mathbf{x}$的前M个分量,令${\mathbf{x}}_b$为剩余的D − M个分量,因此$$\mathbf{x}=\left(\begin{array}{l}{\mathbf{x}}_a\\ {\mathbf{x}}_b\end{array}\right)$$我们也定义对应的对均值向量 μ 的划分,即
$$\mathbf{\mu }=\left(\begin{array}{c}{\mathbf{\mu }}_a\\ {\mathbf{\mu }}_b\end{array}\right)$$协方差矩阵$\mathbf{\Sigma }$为$$\mathbf{\Sigma }=\left(\begin{array}{cc}{\mathbf{\Sigma }}_{aa}& {\mathbf{\Sigma }}_{ab}\\ {\mathbf{\Sigma }}_{ba}& {\mathbf{\Sigma }}_{bb}\end{array}\right)$$

注:协方差矩阵均为对称矩阵

在许多情况下,使用协方差矩阵的逆矩阵比较方便。即$$\Lambda ={\Sigma }^{-1}=\left(\begin{array}{ll}{\mathbf{\Lambda }}_{aa}& {\mathbf{\Lambda }}_{ab}\\ {\mathbf{\Lambda }}_{ba}& {\mathbf{\Lambda }}_{bb}\end{array}\right)$$这被称为精度矩阵,分块矩阵的逆矩阵的恒等式如下
$${\left(\begin{array}{cc}A& B\\ C& D\end{array}\right)}^{-1}=\left(\begin{array}{cc}M& -MB{D}^{-1}\\ -D^{-1}CM& D^{-1}+D^{-1}CMB{D}^{-1}\end{array}\right)$$$$M={\left(A-B{D}^{-1}C\right)}^{-1}$$

注:在推导条件高斯分布时,精度矩阵更方便,在推导边缘高斯分布时协方差矩阵更方便

目的1:给定联合分布的表达式,寻找条件概率分布$p\left({\mathbf{x}}_a|{\mathbf{x}}_b\right)$的表达式

一种比较高效的计算方法
首先给定联合分布为$$\begin{array}{rl}-\frac{1}{2}(& \mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })=\\ & -\frac{1}{2}{\left({\mathbf{x}}_a-{\mathbf{\mu }}_a\right)}^T{\mathbf{\Lambda }}_a\\ & \end{array}$$