聚类模型-模型聚类-高斯混合

聚类模型

1、层次聚类

2、原型聚类-K-means

3、模型聚类-GMM

4、EM算法-LDA主题模型

5、密度聚类-DBSCAN

6、图聚类-谱聚类

三、模型聚类-高斯混合

高斯混合的类表示是一个高斯模型，相似性度量定义为服从类$c_{j}$高斯分布$\mu,\Sigma$的概率（Kmeans的相似度量是聚距离度量），所以高斯混合聚类也可以看作是有参的密度聚类。高斯混合假设类之间服从伯努利分布，样本在某一类下服从高斯分布，也就是说每个样本独立服从多元高斯分布。为了使得所有样本的概率最大化，即最大化对数似然函数：

$$\begin{aligned} L(\Phi,\mu,\Sigma)&=log\prod_{i=1}^{m}P(x^{(i)})\\ &=\sum_{i=1}^{m}log(P(x^{(i)};\Phi,\mu,\Sigma))\\ &=\sum_{i=1}^{m}log\sum_{z^{(i)}=1}^{k}(P(x^{(i)}|z^{(i)};\mu,\Sigma)P(z^{(i)};\Phi)) \end{aligned}$$
也就是说假设类之间服从一个伯努利分布：
$$P(z^{(i)}=c_{j})=P(z^{(i)};\Phi)=\Phi_{j},\sum_{j=1}^{k}\Phi_{j}=1,j=1,2..k$$
样本在类 $z^{(i)}$下的条件概率服从高斯分布：

P(x(i)=z(i)|