EM算法之高斯混合模型（一）

单个高斯模型

如果我们有一堆数据，其分布属于一个高斯模型，那么有

$$p(X) = N(x|\mu,\Sigma) = \frac1 {\sqrt{(2\pi)^m|\Sigma|}}exp[-\frac1 2(x-\mu)^T\Sigma^{-1}(x-\mu)] \quad(1.1)$$
这样子的话，对于单个高斯，我们可以直接对其参数 $\mu$和 $\Sigma$进行求导，求出对应的参数。
那么现在有一堆数据，其分布如下所示，

那么我们需要用多个高斯对数据的分布进行描述。接下来我们看看多个高斯混合模型.

混合高斯模型

每个GMM由K个Gaussian分布组成，每个高斯分布(Gaussian)称为一个“Component”，这些Component 线性加成在一起就组成了 GMM 的概率密度函数：

$$p(x) = \sum_{k=1}^Kp(k)p(x|k) \\ =\sum_{k=1}^K\pi_kN_k(x|\mu_k,\Sigma_k) \quad(2.1)$$
上式中 $\sum_{k=1}^K\pi_k = 1$，其中：
$$N_k(x|\mu_k,\Sigma_k) = \frac1 {\sqrt{(2\pi)^m|\Sigma_k|}}exp[-\frac1 2(x-\mu_k)^T\Sigma_k^{-1}(x-\mu_k)] \quad(2.2)$$
这边我们的参数可以用 $\overline\theta$来表示：
$\overline\theta= \left\{\mu_1,\mu_2...\mu_k,\Sigma_1,\Sigma_2,...,\Sigma_k,\pi_1,\pi_2,...,\pi_k\right\}$

这边的$\pi_i$表示的是每个高斯分布对数据分布的权重，$\sum_i^k\pi_i = 1$

那我们如何从分布中取一点吗？我们可以分成两步，首先$\pi_k$的概率选择一个component(每个component就是一个聚类中心)&#x