高斯混合模型推导【GMM】

一、背景

1.1 GMM背景

 

有时候我们的数据分布可能如上左图所示，根据数据分布情况我们猜测这个数据服从三个高斯分布如上右图所示，很自然就会把模型定义为三个高斯模型的混合

接下来我们会尝试用极大似然估计的方法来求解其中的参数，

1.2  GMM为什么不能用极大似然估计解决

因为无法用对数极大似然估计法求得参数的解析解，所以引入了EM算法来进行求解参数。

二、EM算求解参数

2.1 EM算法

EM算法总共分为两步：

E步：

M步：

2.2 GMM中的E步

首先得到初始的E步算法：

对E步算法进行化简：

2.2 GMM中的M步

M步主要用来确定参数的更新值

关于u和Σ这两个变量的推导过于复杂，就不再这里推导了，详细的推导过程见徐亦达老师的github账号。

参考资料：

                       1>机器学习白板推导（十一）-高斯混合模型（GMM）

                       2>徐亦达机器学习：Expectation Maximization EM算法

                       3>吴恩达-CS229课程

                       4>李航-统计机器学习