统计学习方法笔记_cbr：第九章 EM算法及其推广

第九章 EM算法及其推广

9.1 EM算法的引入

概率模型有时含有观测变量，又含有隐变量或潜在变量。
EM算法就是含有隐变量的概率模型参数的极大似然估计法；
EM算法是一种迭代算法，算法的迭代由两步组成：
E步：求期望；
M步：求极大；

9.1.1 EM算法
EM算法与初值有关，不同的初值可能对应不同的参数值；
观测随机变量的数据和隐随机变量的数据称为完全数据；
单单只有观测随机变量的数据叫不完全数据；
EM算法通过迭代求 模型的极大似然估计；

Q函数怎么来的呢？





=>下界B函数=Q函数
同过使下界增大来使得对数似然函数L（θ）增大；
缺点：如图下界极大值点对应的并非是L（θ）的极大值；所以EM算法并不能保证找打全局最优解；

9.2 EM算法的收敛性

定理 9.1
P（Y|θ（i））单调递增；
定理 9.2
(1). 如果P（Y|θ（i））有界，L(θ（i））)收敛；
(2).Q函数，L函数 满足一定条件下，θ（i）的收敛值是L(θ）的稳定点；

L(θ（i））)收敛和θ（i）的收敛是两层意思;

9.3 EM算法在高斯混合模型学习中的应用

用EM算法求高斯混合模型参数；

9.3.1 高斯混合模型

9.4 EM算法的推广

9.4.1 F函数的极大-极大算法；

F函数固定一个θi极大P，再在P的基础上极大化θi+1;
最后都是以相同的Q函数得出相同的θ序列收尾；

9.4.2 GEM 算法

有时求Q函数极大化很难；
GEM算法就一次改变θ中的一个分量求最大化，d次最大化（遍历θ所有参数）后即可求出使Q函数最大化的θ；