GMM混合高斯模型算法详解

使用概率模型的原因

k均值等价于假设了球对称形状的聚类。使用带权欧式距离，仍然假设了轴对齐的椭球。没有考虑聚类的形状。
促使概率模型的原因：混合模型

• 提供观测点到聚类的软分配soft assignment（分配包含不确定性）
• 考虑了聚类的形状而不仅仅是中心
• 允许从不同维度来学习权重

高斯分布

双变量高斯分步，协方差矩阵的主对角线决定了展度；副对角线决定朝向

高斯混合模型

GMM估计的EM算法

GMM推导

EM算法的收敛性，初始化和过拟合

收敛性

• EM是一种坐标下降算法，等价于交替最大化E步和M步目标函数
• 收敛于局部最优解

初始化

• 许多初始化EM算法的方式
• 对于收敛和局部最优解的质量重要
• 距离
  
  • 随机选择K个中心
• 选择类似k-means++
• 根据k-means的解初始化
• 通过划分（移除）簇直到形成k个簇生成混合模型

过拟合

不要让方差为0.
协方差矩阵对角线添加小的常数。
使用贝叶斯方法为参数添加先验。

k-means与EM关系

• k-means是两个步骤交替进行，可以分别看成E步和M步；
• E步中将每个点分给中心距它最近的类（硬分配），可以看成是EM算法中E步（软分配）的近似。当方差无限小的时候，EM相当于k-means。
• M步中将每类的中心更新为分给该类各点的均值，可以认为是在「各类分布均为单位方差的高斯分布」的假设下，最大化似然值；

参考资料

知乎王赟 Maigo的回答
《Machine Learning》ColumbiaX: CSMM.102x Lecture 16