《统计学习方法》第九章 EM算法及其推广

1. EM算法背景

1)用于含有隐变量的概率模型参数的极大似然估计,或极大后验概率估计.
2)概率模型有时候既含有观测变量,又含有隐变量或潜在变量.如果概率模型的变量都是观测变量,那么给定数据,可以直接用极大似然估计法,或贝叶斯估计法估计模型参数.但是当有隐变量时,就不能简单的使用这些估计方法.
3)EM算法的每次迭代由两次组成:求期望、求极大

2. EM(expectation maximization期望极大)算法的引入

2.1 EM算法入门之三硬币模型

注:该公式表示一次观测概率,随机变量y是观测变量,y值为1或0,随机变量z是隐变量,表示未观测到的掷硬币A的结果,θ(π,p,q)是模型参数.

注: 式(9.3)中的y_j表示第几个观测数据,Y是一个例如1001110的观测序列.

2.2 EM算法

2.3 EM算法的导出

注:上面的推导过程即将对L(θ)的极大化转换为对B(θ,θ⁽ⁱ⁾)的极大化.

4. EM算法在高斯混合模型中的应用

4.1 高斯混合模型

4.2 高斯混合模型参数估计的EM算法

高斯混合模型参数估计EM算法总结: