关于多元正态分布的条件概率密度

原文来师兄的博客：http://blog.csdn.net/wjj5881005/article/details/53320403

多元正态分布

多元正态分布的密度函数如下 ：

$f_{x}(x_{1},...x_{n})=\frac{1}{\sqrt{(2\pi)^{k}}|\Sigma|^{1/2}}exp(-\frac{1}{2}(x-\mu)^{T}\Sigma^{-1}(x-\mu))$ (1)
其对应的矩母函数（也有称动差函数）为 $exp(\mu^{T}t+\frac{1}{2}t^{T}\Sigma t)$。事实上，如果随机向量 $[X_{1},...X_{n}]$满足上面的动差函数，那么我们就称随机向量 $[X_{1},...X_{n}]$服从多元高斯分布。具体地证明可以看 这里。

多元正态分布的条件密度

令随机向量$[X_{1},...X_{n}]$服从多元高斯分布。我们可以推导$X_{n}$在给定$X_{1},...X_{n-1}$的情况下的条件密度分布：

$f(x_{n}|x_{1},...,x_{n-1})=\frac{f(x_{1},...,x_{n-1},x_{n})}{f(x_{1},...,x_{n-1})}$ (2)，
其中 $f(x_{1},...,x_{n})=(2\pi)^{-n/2}(|\Sigma|^{-1/2})exp[-\frac{1}{2}\sum_{i,j=1}^{n}y_{i}q_{ij}y_{j}]$ (3)
其中 $Q=\Sigma^{-1}=[q_{ij}],y_{i}=x_{i}-\mu_{i}$。同样地，
$f(x_{1},...,x_{n-1})=\int_\infty^\infty {f(x_{1},...,x_{n-1},x_{n})}\,dx_{n}=B(y_{1},...,y_{n-1})$ (4).
现在我们将公式(3)中的求和项进行分解，有：
$\sum_{i,j=1}^{n}y_{i}q_{ij}y_{j}=\sum_{i,j=1}^{n-1}y_{i}q_{ij}y_{j}+y_{n}\sum_{j=1}^{n-1}q_{nj}y_{j}+y_{n}\sum_{i=1}^{n-1}q_{in}y_{j}+q_{nn}y_{n}^{2}$(5)
因此，最终地条件分布具有如下的形式：
$\frac{A(y_{1},...,y_{n-1})}{B(y_{1},...,y_{n-1})}exp[-(Cy_{n}^{2}+D(y_{1},...,y_{n-1})y_{n})]$ (6)
其中 $C=(1/2)q_{nn}$，因为 $Q=\Sigma^{-1}$是对称矩阵，所以 $D=\sum_{j=1}^{n-1}q_{nj}y_{j}=\sum_{i=1}^{n-1}q_{in}y_{i}$.(6)式又可以进一步表示称如下的式子：
$[\frac{A}{B}exp(\frac{DD^{2}}{4C})]exp[-\frac{(y_{n}+\frac{D}{2C})^{2}]}{\frac{1}{C}}$ (7)
从公式(7)很容看出 $x_{n}$的条件密度函数是服从正态分布的。
所以条件分布的方差为： $2Var(X_{n}|X_{1},...,X_{n-1})=1/C$，进一步有： $Var(X_{n}|X_{1},...,X_{n-1})=\frac{1}{2C}=\frac{1}{q_{nn}}$
均值为：
$E(X_{n}|X_{1},...,X_{n-1})=\mu_{n}-\frac{D}{2C}=\mu_{n}-\frac{1}{q_{nn}}\sum_{j=1}^{n-1}q_{nj}(X_{j}-\mu_{j})$
这就说明了再抽样多元正态分布时，如果已知了其它维度的随机变量值， 剩下的那个维度的随机变量也是服从正态分布。