Conditional Guassian Distribution 条件高斯分布及其证明

1. 写在前面

       ~~~~~~        本文的公式证明来自陈喜群教授的PPT课件以及以及书本《模式识别与机器学习》，在此特别感谢。想写整个博客的原因也由于是网上的推导过程过于繁琐，陈教授的推导过程较为巧妙，但是由于本人基础较为薄弱，想到可能也有很多和我需求相同的人，因此在这里把我的详细公式推导贴在这里。

2. 高斯分布

2.1 一元高斯分布

       ~~~~~~       ⾼斯分布，也被称为正态分布，⼴泛应⽤于连续型随机变量分布的模型中。对于⼀元变量$x$的情形，⾼斯分布可以写成下⾯的形式:
$$N\left(x|\mu ,{\sigma }^2\right)=\frac{1}{{\left(2\pi {\sigma }^2\right)}^{\frac{1}{2}}}\exp \left\{-\frac{1}{2{\sigma }^2}{\left(x-\mu \right)}^2\right\}$$
       ~~~~~~       其中，$\mu$代表均值，${\sigma }^2$代表方差。对于$D$维向量$x$。

2.2 多元高斯分布

多元高斯分布的形式为：
$$N\left(x|\mu ,\Sigma \right)=\frac{1}{{\left(2\pi \right)}^{\frac{D}{2}}}\frac{1}{{\left|\Sigma \right|}^{\frac{1}{2}}}\exp \left\{-\frac{1}{2}{\left(x-\mu \right)}^T{\Sigma }^{-1}\left(x-\mu \right)\right\}$$
       ~~~~~~       其中，$\mu$是一个$D$维均值向量，$\Sigma$是一个$D\times D$的协方差矩阵，$|\Sigma |$是$\Sigma$的行列式。

3. 条件高斯分布

3.1 准备工作

       ~~~~~~       多元⾼斯分布的⼀个重要性质是，如果两组变量是联合⾼斯分布，那么以⼀组变量为条件，另⼀组变量同样是⾼斯分布。类似地，任何⼀个变量的边缘分布也是 ⾼斯分布 。
       ~~~~~~        ⾸先考虑条件概率的情形。假设$x$是一个服从高斯分布$N(x|\mu ,\Sigma )$的$D$维度的向量，我们把$x$划分为两个不相交的子集$x_a$和$x_b$，不失⼀般性，我们可以令$x_a$为x的前$M$个分量，令$x_b$为剩余的$D-M$个分量，因此:
$$x=\left(\begin{array}{c}{x}_a\\ x_b\end{array}\right)$$
       ~~~~~~       我们也定义对应的对均值向量$\mu$的划分，即：
$$\mu =\left(\begin{array}{c}{\mu }_a\\ {\mu }_b\end{array}\right)$$
       ~~~~~~       协⽅差矩阵$\Sigma$为：
$$\Sigma =(\begin{array}{c}\end{array}$$