多变量高斯分布、高斯混合模型和EM算法

多变量高斯分布

先总结一些基本结论。

设有随机变量组成的向量$X=[X_1,\cdots,X_n]^T$，均值为$\mu\in\mathbb{R}^n$，协方差矩阵$\Sigma$为对称正定$n$阶矩阵。在此基础上，如果还满足概率密度函数

$$p(x;\mu,\Sigma)=\frac{1}{(2\pi)^{\frac{n}{2}}|\Sigma|^{\frac{1}{2}}}\exp\left(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)\right)$$ 则称其满足多变量高斯分布，记为 $x\sim\mathcal{N}(\mu,\Sigma)$。其中 $\exp()$前的分式可视为归一化系数。

关于协方差矩阵，在前面的PCA和白化里面有总结，一个随机向量的协方差矩阵就是这样一个矩阵：$\Sigma_{i,j}=\text{Cov}(X_i,X_j)$。实际上，随机向量的均值和协方差矩阵有下面关系：

$$\Sigma=E[(X-\mu)(X-\mu)^T]=E(XX^T)-\mu\mu^T$$

上面说到，要求$\Sigma$是一个对称的正定矩阵，实际上任何随机向量的协方差矩阵都是半正定的，只不过概率密度函数里面进一步要求$\Sigma^{-1}$的存在，所以$\Sigma$必然是满秩矩阵，所以肯定是正定的。

若$\Sigma$是对角形式的（比如随机向量是二维的，高维也类似）

$$\Sigma=\begin{pmatrix}\sigma_1^2&0\\0&\sigma_2^2\end{pmatrix}$$ 则化简概率密度函数，可以发现它就是两个标准差分别为 $\sigma_1,\sigma_2$的单变量高斯分布的乘积。
如果 $\Sigma$不是对角的，则不能化简成两个单变量高斯分布的乘积。

直觉上来说，应该可以使用正交变换$R$使得协方差矩阵$\Sigma$对角化（结合协方差矩阵的意义，这会使得随机向量$X$每个元素互不相关）。

为此，试探性地作代换$X\leftarrow R^T(X-\mu)$，则根据$\Sigma=E[(X-\mu)(X-\mu)^T]=E(XX^T)-\mu\mu^T$可得新的协方差矩阵

$$\Sigma'=E[R^T(X-\mu)(X-\mu^T)R]-0=R^TE[(X-\mu)(X-\mu)^T]R=R^T\Sigma R$$ 所以取合适的正交变换矩阵 $R$就可以使得协方差矩阵对角化。一旦协方差矩阵对角化了，则随机向量总的概率密度函数一定可以写成各个变量自己的高斯分布的乘积。

高斯混合模型和EM算法

关于高斯混合模型的背景，一篇博客觉得讲的比较明白（地址），这里就不抄写一些背景概念了，只总结最主要的部分。

样本集（$x$不是随机变量，是样本）为 $\{x^{(1)},\cdots,x^{(m)}\}$，共 $m$个样本，每个样本是一个向量。为估计出概率密度函数$p(x;\phi,\mu,\Sigma)$中的三个参数 ϕ,μ