聚类——混合模型

本内容整理自coursera，欢迎交流转载。

1.背景

前面一篇博客我们介绍了k-means方法，但是这种方法有一个问题，因为k-means方法给每个数据都只有一个分类，但是实际上，同一个数据可能有不同的分类。比如，有一张图片：

你觉得这张图片应该归类为天空还是树林？
使用k-means方法的话这张图片只有一个类，这似乎是不太合适的。
另外，k-means方法还有一个缺点是，我们总是期望$z_i\leftarrow arg\ min||\mu_j-\textbf{x}_i||^2_2$最小，事实上我们默认把类的范围定为了一个个圆，事实上，可能是椭圆呢？


接下来，我们将介绍混合模型来解决这些问题。

2.知识补充：高斯分布

2.1一维高斯分布

由2个参数定义：均值$\mu$和方差$\sigma^2$：

2.2二维高斯分布

由均值向量$\vec{\mu}$和协方差矩阵$\vec\sum$定义。
其中，
$\vec\mu=[\mu_1,\mu_2]$
$\vec\sum=[\begin{matrix} \sigma_1^2 & \sigma_{1,2}\\ \sigma_{2,1} & \sigma_2^2 \end{matrix}]$

2.3 n维高斯分布

<