EM+GMM

最近在研究HMM底层，想法是能够自己手动实现全部底层部件。包括GMM，Baum-Welch和维特比算法等。刚进入GMM就遇到了很多的坑，这里总算走过一遍，自己也实现了一遍，代码放在我的github地址，感兴趣的可以去看。这里我主要介绍EM和GMM的联合使用，主要是训练阶段，并给出实验结果。

在开始之前，我必须要对几个点说清楚。首先，我不会再跟大家讲解EM算法，因为博客上大家都在讲，不过我认为他们讲的真的太断章取义，拿几个点直接来说没有意义，我们要知道怎么来的，怎么用的，为什么这么用。所以我建议大家看这篇论文：The EM Algorithm in Multivariate Gaussian Mixture Models using Anderson Acceleration，真的非常有帮助。关于EM我认为第一次接触的人明白一下两点就可以：

1. EM和MLE（最大相似估计）的区别？

其实二者最大的区别是前者EM认为后者MLE处理的数据是不完整的。所谓不完整可能指数据本身有缺失，或者有隐藏状态没有表现出来。【再深入？看论文去，再说多就是害你】

2. EM算法核心？

EM主要分为两部分：第一步（也就是E步骤）：确定Q函数  第二步（也就是M步骤）：找到使得Q函数最大的参数。至于细节，看论文去！

关于EM算法我就叙述到这里，下面主要是关于GMM的部分。首先有几个概念要白扯清楚：单高斯，混合高斯，多变量混合高斯。不要懵，其实经过仔细查看就会明白区别，不过鉴于你查看博客而不是查看wiki，所以我认为你想更快的得到他们的区别，那么我用下面的一段话来概括说明他们的区别：

单高斯是一维变量一个模型，混合高斯是一维变量多个模型，多变量混合高斯是多个维度变量多个模型。

还是糊涂？好，那么我再用更浅显的说法叙述一遍。

假设你有一堆数据，比如是人的名字，同时假设有N个。那么你拥有一个N*1维度的初始数据，你可以用一个单高斯模型来模拟他的分布。单高斯如下：

高斯分布：