EM算法和高斯混合模型GMM

参考链接：
https://www.zhihu.com/question/27976634
https://www.jianshu.com/p/1121509ac1dc
https://blog.csdn.net/qq_39638957/article/details/88744877
https://www.cnblogs.com/shanlizi/p/9101752.html
更新中……
em算法
动机：由于含有隐变量，不能直接用极大似然估计来估计观测数据的分布的参数。
想法：先初始化观测变量的概率，用这个概率估计隐变量的概率，再用隐变量的概率更新观测变量的概率。可证明收敛性。

高斯混合模型
多用于聚类，假设数据分布为多个高斯分布的混合。参数为数据点属于第k个高斯模型对概率，高斯分布中的均值和协方差。
求解步骤为
（1）给参数初值
（2）计算每个点属于属于第k个高斯分布的概率
（3）根据（2）更新每个高斯分布的均值和协方差
（4）重复直到参数不变

GMM和K-Means的联系和区别
当协方差极小时就是kmeans，由于em算法对初值敏感，可以先用kmeans训练大概，再用gmm优化。
计算步骤相同，都需要初值，迭代得到分类。
kmeans聚类的形状是球对称的，而GMM是高斯分布形状的，因此gmm更加细致
kmeans hardcluster
GMM softcluster