高斯混合模型是EM算法的经典应用,结合高斯混合模型进行EM算法的学习是一个较好的方法。
EM知识要点:
1、EM算法是最大似然估计的特殊情况,首先EM算法模型是根据最大似然估计来建立的。因为在某种情况下,有中间隐含变量,不能直接让偏导为零而求得参数解,于是就产生了EM算法。
2、EM算法怎么在隐含变量的情况下,求所需的参数解?这涉及了一系列先验概率和后验概率的知识运用,同时还需非常重要的一步“假设初始参数值”。
3、算法的基本思想:
假设需要求的参数是x,首先假设的初始参数为x=x0;
E:在已知x的情况下,根据后验概率的思想来求得隐含变量值(在概率上表达的);
M:然后应用最大似然估计求参数的方法求得参数x1,另x=x1;
不断地重复E、M两步,使得最终的x值收敛到指定的范围。