GMM与KMeans的关系

 

首先考虑EM算法求解GMM的E步：

GMM中，当协方差矩阵的对角线元素固定为无限接近0（代表着不确定性越来越小，无限接近确定）时， 的作用将消失，因为 这一项将为0或者1。所以 将会变为确定的0或者1，也就是说没有了概率，成为了确定类别。

那么这个类别是怎么确定出来的呢？

 的表达式是下面这个式子

而这个概率分布，在协方差矩阵 为对角阵时，正比于欧氏距离。（各个方向具有相同重要性的多元高斯分布的性质）

事实上，GMM模型也确实是将协方差矩阵限制为对角阵来进行EM求解的。

因此，类别的选择也就成了按照与该cluster均值点的距离的选择问题。这恰好就是KMeans所做的事情（按照离中心点）

----------------------------------------------------------------------------------------------------------------------------------------------------------------

M步：

各个cluster均值向量的更新：

上面一段已经讨论过，rik 在协方差矩阵对角线元素限制为无穷小的时候，退化为了确定的0或1.

因次一个cluster的均值向量的计算也就退化为了该cluster中的点（hard assignment）的均值。

这恰好也和KMeans一模一样。

------------------------------------------------------------------------------------------------------------------------------------------------------------------

综上，GMM限制协方差矩阵为对角阵，当对角线元素无穷小（不确定性也就无穷小）时，soft assignment的GMM模型也就退化为了hard assignment的KMeans模型