高斯模型EM算法推导

上文可能花了较多的时间在编辑公式，不过对于它们的由来却没有去深究。
第一眼看到一些结论仍然是很诧异的。虽然和对高斯分布的最大似然估计看起来有几分神似，但是总是觉得不太踏实。此文就是用来梳理推导过程的，在参考文献1中其实有一个手写版的比较详尽的推导，不过仅仅推了$\mu$的计算，而且还有小小的错误。Anyway，先把在Maximization这一步的几个公式再罗列一遍吧

$$\phi_j=\frac{1}{m}\sum_{i=1}^{m} I\{z^{(i)}=j\} \\ \mu_j=\frac{\sum_{i=1}^{m} I \{z^{(i)}=j\} x^{(i)}}{\sum_{i=1}^{m}I\{z^{(i)}=j\}}\\ \Sigma_j = \frac{\sum_{i=1}^m I\{z^{(i)}=j\}x(^{(i)}-\mu_j)(x^{(i)}-\mu_j)^T}{\sum_{i=1}^{m} I\{z^{(i)}=j\}}$$

$\phi_j$代表着$p(z^{(i)}=j)$的概率。这个式子是容易理解的，就是所有的m个样本中，输入标签j的数目除以总的样本数就等于$\phi_j$.

密度估计的实质

我们进行密度估计的实质，就是在给定m个D维的样本点，$x_1,...,x_m\in R^D$ ,令所有的$R^D$上概率密度函数的集合表示成$\mathcal{F}$,我们要寻找一个概率密度函数$f(x)\in \mathcal{F}$,它最有可能产生给定的数据。
一种定义这个函数集$\mathcal{F}$的方法就是给所有的函数以相同的数学形式，但是用不同的参数集合$\theta$ 来区分它们。比如说，$\mathcal{F}$中的函数可以是高斯混合函数：

$$f(x;\theta)=\sum_{k=1}^{K} \phi_k \mathcal{N}(x; \mu_k,\sigma_k)$$
由于 $f$是一个密度函数，所以它必须是非负的，同时积分应该是1。所以我们就可以得到：
$$1=\int_{R^D} f(x;\theta)dx = \int_{R^D}\sum_{k=1}^{K} \phi_k \mathcal{N}(x;\mu_k,\sigma_k)dx=1$$
又由于高斯密度函数本身积分为1：
$$\int_{R^D} \mathcal{N}(x;\mu_k,\Sigma_k)dx=1$$
所以可以得到：
$$\sum_{k=1}^{K} \phi_k=1$$
所以，我们就能得出这样的结论：
$$\phi_k\ge 0, \sum_{k=1}^{K}\phi_k = 1$$
这也检验了，我们设定 $\phi_k$为高斯分量所占的比例是合理的。可以将它称为 mixing probabilities.

推算

使用混合高斯的函数来对cluters进行建模，将每一个cluster分配给一个高斯分量，它的均值靠近cluster的中心，它的标准差就衡量了这个cluster分散的程度。
再来强调一次我们的目的，我们是希望找到这样一个函数，或者说一个模型，通过它最有可能生成我们现在已经获得的数据，所以我们实际上的似然函数最大化就是使得后验概率最大化的过程。

L(x1,...,