已知高维高斯联合概率分布求边缘概率分布以及条件概率分布

博主最近在看卡尔曼滤波算法，个人认为在卡尔曼滤波算法中最核心的部分莫过于高维高斯联合概率分布的性质，因此打算将这些性质整理成博客记录下来方便自己今后的学习，如果有哪里不对，欢迎各位读者指正。

一 引理

​ 这里我引入一个定理，这个定理不在本博客证明，因为它很直观，便于理解。
​ 假设随机变量$X$服从均值为$\mu$，协方差矩阵为$\Sigma$的高斯分布(为了更具有一般性，这里的均值是一个向量，协方差是一个矩阵)。随机变量$Y=AX+B$(这里的矩阵$A$和$B$都是常值矩阵)，则结论是$Y$也服从于一个高维高斯分布，它的均值是$A\mu +B$，协方差矩阵是$A\Sigma A^T$。

二 推导

​ 设$p$维随机变量$X=(x_1,x_2,\dots ,x_p{)}^T$服从均值$\mu =({\mu }_1,{\mu }_2,\dots ,{\mu }_p{)}^T$，协方差矩阵为式(2-1)的高斯分布，现在我们将随机变量$X$切分为两个随机变量，第一个随机变量取随机变量$X$的前$m$维记为$X_a$，对应的均值为${\mu }_a$。第二个随机变量取随机变量$X$的后$n$维记为$X_b$，对应的均值为${\mu }_b$，且满足($m+n=p$)。则随机变量$X$可以写成$X=(X_a,X_b{)}^T$，均值可以写成$\mu =({\mu }_a,{\mu }_b{)}^T$，协方差矩阵可写成式(2-2)。
$$\Sigma =\left\{\begin{array}{cccc}{\sigma }_{11}& {\sigma }_{12}& \dots & {\sigma }_{1p}\\ {\sigma }_{21}& {\sigma }_{22}& \dots & {\sigma }_{2p}\\ ⋮& ⋮& \dots & {\sigma }_{3p}\\ {\sigma }_{p1}& {\sigma }_{p2}& \dots & {\sigma }_{pp}\end{array}\right\}\text{\hspace{1em}(2-1)}$$

$$\Sigma =\left\{\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right\}\text{\hspace{1em}(2-2)}$$

​ 现在的问题是随机变量$X_a$以及在给定$X_a$的条件下$X_b$服从什么样参数的分布?
​ 为了使用引入的定理，这里我们构造出$X_a$与$X$之间的关系，即$X_a=(I_m,0_n)X$。由此可以看出，$X_a$可以由$X$线性表出，则$X_a$服从高斯分布，均值和协方差矩阵求解见式(2-3)。
$$\begin{gathered} E[X_a]=(I_m,0)\mu ={\mu }_a \\ Var[X_a]=\left(\begin{array}{cc}{I}_m& 0\end{array}\right)\left(\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right)\left(\begin{array}{c}{I}_m^T\\ 0\end{array}\right)=\left(\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\end{array}\right)\left(\begin{array}{c}{I}_m\\ 0\end{array}\right)={\Sigma }_{aa}\text{\hspace{1em}(2-3)} \end{gathered}$$

所以$X_a$服从于均值为${\mu }_a$，协方差为${\Sigma }_{aa}$的高斯分布。
现在做一下变量替换，见式(2-4)，这里的替换纯属是为了后面计算方便，读者不必纠结于此。
$$\begin{gathered} X_{b.a}=X_b-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{X}_a \\ {\mu }_{b.a}={\mu }_b-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mu }_a \\ {\Sigma }_{bb.a}={\Sigma }_{ba}-{\Sigma }_{aa}^{-1}{\Sigma }_{ab}\text{\hspace{1em}(2-4)} \end{gathered}$$
于是$X_{b.a}$可以表示为$(-{\Sigma }_{ba}{\Sigma }_{aa}^{-1},I_n)X$。并且可以验证，$X_{b.a}$的期望为${\mu }_{b.a}$，协方差为${\Sigma }_{bb.a}$。因此$X_b=X_{b.a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{X}_a$。所以在给定$X_a$的前提下，$E[X_b|X_a]={\mu }_{b.a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mu }_a$，$Var[X_b|X_a]=Var[X_{b.a}]={\Sigma }_{bb.a}$。