机器学习数学基础之四多维高斯分布

多维高斯分布

概率密度函数

首先给出多维高斯分布的概率密度函数：
p ( x ∣ μ , Σ ) = 1 ( 2 π ) p 2 ∣ Σ ∣ 1 2 e x p { − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) } p(x|\mu,\Sigma)=\frac{1}{(2\pi)^{\frac{p}{2}}|\Sigma|^{\frac{1}{2}}}exp\{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)\} p(x∣μ,Σ)=(2π)2p​∣Σ∣21​1​exp{−21​(x−μ)TΣ−1(x−μ)}其中，$\vec{x}\in R^p,\mu$ 为均值$,\Sigma$ 为协方差矩阵$,|\Sigma |$ 为对应行列式的值。
由于协方差矩阵 $\Sigma$ 具有正定性，可对其做特征分解 $\Sigma =U\Lambda U^T$, 其中 $U=\left(\begin{array}{ccccc}{u}_1& u_2& \dots & & u_p\end{array}\right)，U{U}^T=I_{p\times p},\Lambda =diag({\lambda }_i)$
由此可得：$$\Sigma =\left(\begin{array}{cccc}{u}_1& u_2& \dots & u_p\end{array}\right)\left(\begin{array}{ccccc}{\lambda }_1& 0& 0& \dots & 0\\ 0& {\lambda }_2& 0& \dots & 0\\ 0& 0& {\lambda }_3& \dots & 0\\ 0& 0& 0& \dots & 0\\ .& & & & .\\ 0& 0& 0& \dots & {\lambda }_p\end{array}\right)\left(\begin{array}{c}{u}_1^T\\ u_2^T\\ ⋮\\ u_p^T\end{array}\right)=\sum _{i=1}^p{\lambda }_i{u}_i{u}_i^T$$$${\Sigma }_1^{-1}=(U\Lambda U^T{)}^{-1}=(U^T{)}^{-1}{\Lambda }^{-1}{U}^{-1}=(U^{-1}{)}^T{\Lambda }^{-1}{U}^{-1}=U{\Lambda }^{-1}{U}^T=\sum _{i=1}^p\frac{1}{{\lambda }_i}{u}_i{u}_i^T$$
则分布函数中的指数部分可进一步表示为：
$$(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )=\sum _{i=1}^p\frac{1}{{\lambda }_i}(x-\mu {)}^T{u}_i{u}_i^T(x-\mu )=\sum _{i=1}^p\frac{1}{{\lambda }_i}{y}_i{y}_i^T=\sum _{i=1}^p\frac{1}{{\lambda }_i}||y_i|{|}^2$$

很明显，当 p = 2 时，指数部分 $\frac{y_1^2}{{\lambda }_1}+\frac{y_2^2}{{\lambda }_2}=r$ 表示一个椭圆曲线。椭圆的两个轴的方向是 $U$ 中两个特征向量的方向，轴长是对应的 $\sqrt{{\lambda }_i}$ 的长度。高斯分布的形状见下图：

高斯分布的线性变换

对于 $Y=AX+B$

若 $X\sim N({\mu }_x,\Sigma )$，则 $Y\sim N(A{\mu }_x+B,A\Sigma A^T)$

证明如下：

$E[Y]=E[AX+B]=AE[X]+B=A{\mu }_x+B$

$$\begin{gathered} D[Y]=D[(Y-{\mu }_y)(Y-{\mu }_y{)}^T] \\ =D[((AX+B)-(A{\mu }_x+B))((AX+B)-(A{\mu }_x+B){)}^T] \\ =D[(AX-A{\mu }_x)(AX-A{\mu }_x{)}^T] \\ =AD[(X-{\mu }_x)(X-{\mu }_x)]A^T \\ =A{\Sigma }_x{A}^T \end{gathered}$$

由联合概率分布求边缘概率分布

【假设】：$$X=\left(\begin{array}{c}{x}_a\\ x_b\end{array}\right),\mu =\left(\begin{array}{c}{\mu }_a\\ {\mu }_b\end{array}\right),\Sigma =\left(\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right),x_a\in R^m,x_b\in R^n$$对于 $x_a=\left(\begin{array}{cc}{I}_m& 0\end{array}\right)\left(\begin{array}{c}{x}_a\\ x_b\end{array}\right)=AX$
则根据线性变换有：$$E[x_a]=E[AX]=E[I_m{x}_a]=E[x_a]={\mu }_a$$$$D[x_a]=A\Sigma A^T=\left(\begin{array}{cc}{I}_m& 0\end{array}\right)\left(\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right)\left(\begin{array}{c}{I}_m\\ 0\end{array}\right)={\Sigma }_{aa}$$
所以 $x_a\sim N({\mu }_a,{\Sigma }_{aa})$，同理也可得到 $x_b\sim N({\mu }_b,{\Sigma }_{bb})$