K-means算法与GMM和EM之间的关系

EM算法的流程：

1. 随机初始化未知参数，初始化值记为${\theta }^{old}$
2. E-STEP:
   • 求隐变量$z$的后验：$p(z|x;{\theta }^{old})=\frac{p(z,x;{\theta }^{old})}{\int p(z,x;{\theta }^{old})dz}$
   • 求完全数据$(x,z)$的对数似然关于$z$的后验的期望：$E_{p(z|x;{\theta }^{old})}[logp(x,z;\theta )]$
3. M-STEP:
   最大化期望：$E_{p(z|x;{\theta }^{old})}[logp(x,z;\theta )]$，也就是$\hat{\theta }=argma{x}_{\theta }{E}_{p(z|x;{\theta }^{old})}[logp(x,z;\theta )]$
   令${\theta }^{old}=\hat{\theta }$，并开启下一轮迭代。

用EM算法求解GMM算法的流程：
其中，${\pi }_k$是第k个高斯的先验，一般${\pi }_k=\frac{1}{K}$。
$${\gamma }_{i,k}=p(z|x_i;{\theta }^{old})=\frac{{\pi }_{k}N(x_i;{\mu }_k,{\Sigma }_k)}{{\Sigma }_j^K{\pi }_{j}N(x_i;{\mu }_j,{\Sigma }_j)}\text{\hspace{1em}(1)}$$
是后验分布。

我们令${\Sigma }_k=ϵ$，考虑GMM中$ϵ趋近于0的情况$（这时其实变成了狄拉克分布，狄拉克分布是高斯分布在协方差趋于0的一种特殊情况）。

在E-step中
（1）式变成：

$$\begin{array}{rl}{\gamma }_{i,k}=& \frac{{\pi }_{k}N(x_i;{\mu }_k,{\Sigma }_k)}{{\Sigma }_j^K{\pi }_{j}N(x_i;{\mu }_j,{\Sigma }_j)}\\ =& \frac{{\pi }_{k}exp(-\frac{1}{2ϵ}(x_i-{\mu }_k{)}^2)}{{\sum }_j^K{\pi }_{j}exp(-\frac{1}{2ϵ}(x_i-{\mu }_j{)}^2)}\end{array}\text{\hspace{1em}(2)}$$

假设$x_i$距离${\mu }_k$最近，也就是$(x_i-{\mu }_k{)}^2$最小。根据类内距最小，类间距最大的原则，在分母中，$(x_i-{\mu }_j{)}^2，j\ne k$都比$(x_i-{\mu }_k{)}^2$要大的多。根据指数函数的单调性可知，其他项都趋于0。根据求极限的法则，在$ϵ\to 0时，(x_i-{\mu }_k{)}^2最小，等价于{\gamma }_{i,k}\to 1$。这种情况下，相当于每个样本获得了一个硬分配，和k-means一样。

M-step中
$$\begin{array}{rl}{E}_{p(z|x;\theta )}[logp(x_i,z;\theta )]=& \sum _k^K\sum _i^n{\gamma }_{i,k}[ln{\pi }_k+lnN(x_i;{\mu }_k,{\Sigma }_k)]\end{array}\text{\hspace{1em}(3)}$$

当$ϵ\to 0$时，（3）式变成：
$$\begin{array}{rl}{E}_{p(z|x_i;\theta )}[logp(x,z;\theta )]=& \sum _k^K\sum _i^n{\gamma }_{i,k}[ln{\pi }_k+lnN(x_i;{\mu }_k,{\Sigma }_k)]\\ =& \sum _k^K\sum _i^n{\gamma }_{i,k}ln{\pi }_{k+}+\sum _k^K\sum _i^n{\gamma }_{i,k}ln\frac{1}{\sqrt{2\pi ϵ}}-\frac{1}{2ϵ}\sum _k^K\sum _i^n{\gamma }_{i,k}(x_i-{\mu }_k{)}^2\\ =& const+\frac{1}{ϵ}\sum _k^K[\sum _i^n{\gamma }_{i,k}(ln\frac{1}{\sqrt{2\pi }}-(x_i-{\mu }_k{)}^2)]\end{array}s\text{\hspace{1em}(4)}$$
在M-step中，只有${\mu }_k$是未知的，其他都是已知的，所以只需要让${\mu }_k$使得上式最大即可。也就是${\sum }_k^K[{\sum }_i^n{\gamma }_{i,k}(ln\frac{1}{\sqrt{2\pi }}-(x_i-{\mu }_k{)}^2)]$最大。通过对${\mu }_k$求导得：${\mu }_k=\frac{{\sum }_i^n{\gamma }_{i,k}{x}_i}{{\sum }_i^n{\gamma }_{i,k}}$。

从此可知，K-Means算法其实是GMM的EM解法在高斯分量协方差$\Sigma \to 0$时的一个特例。

参考：https://blog.csdn.net/tingyue_/article/details/70739671