一、前言
1. Jesen不等式
2、二项式分布的最大似然估计
3、高斯分布的极大似然估计
4、高斯混合分布
二、EM算法
1. EM算法的提出
迭代法：
- 找出一个下界函数 r ( x ∣ θ ) r(x|\theta) r(x∣θ)（ r ( x ∣ θ ) < = l ( θ ) r(x|\theta) <= l(\theta) r(x∣θ)<=l(θ)）,在 x 0 x_{0} x0处于 l ( θ ) l(\theta) l(θ)相切.
- 找出下界函数 r ( x ∣ θ ) r(x|\theta) r(x∣θ)的极大值处 x 1 x_{1} x1.由于 r ( x ∣ θ ) < = l ( θ ) r(x|\theta) <= l(\theta) r(x∣θ)<=l(θ)，所以 l ( θ , x 1 ) > l = l ( θ , x 0 ) l(\theta,x_{1})>l=l(\theta,x_{0}) l(θ,x1)>l=l(θ,x0)
- 在 x 1 x_{1} x1处找出下界函数 r ( x ∣ θ ) r(x|\theta) r(x∣θ),重复上述过程，直到在选 r ( x ∣ θ ) r(x|\theta) r(x∣θ)时， r ( x 1 ∣ θ ) = l ( θ ， x 1 ) = r ( x m a x ∣ θ ) r(x_{1}|\theta) = l(\theta，x_{1})=r(x_{max}|\theta) r(x1∣θ)=l(θ，x1)=r(xmax∣θ).
这种方法与初值的选择有关，不同初值，最后得到的极大值不同。
2. 找出下界函数
- 下界函数可以选择不等式右边的
r ( x , z ; θ ) = Σ i = 1 m Σ z ( i ) Q i ( z i ) ) l o g p ( x ( i ) , z ( i ) ; θ ) Q i ( z i ) r(x,z;\theta) = \Sigma_{i=1}^{m}\Sigma_{z^{(i)}}Q_{i}(z^{i}))log\frac{p(x^{(i)},z^{(i)};\theta)}{Q_{i}(z^{i})} r(x,z;θ)=Σi=1mΣz(i)Qi(zi))logQi(zi)p(x(i),z(i);θ) - 找出最近下界.
在相切点处， r ( x , z ; θ ) = l ( θ , x ) r(x,z;\theta) = l(\theta,x) r(x,z;θ)=l(θ,x)， p ( x ( i ) , z ( i ) ; θ ) Q i ( z i ) = C \frac{p(x^{(i)},z^{(i)};\theta)}{Q_{i}(z^{i})}=C Qi(zi)p(x(i),z(i);θ)=C
为什么此处二者相等？（Q是Z的一个分布）
EM算法的整体框架
- 求隐变量Z的分布 Q i ( z i ) Q_{i}(z^{i}) Qi(zi)
- 求下界函数取极大值时的待估参数
θ
\theta
θ
3. EM算法的收敛性
三、用EM算法推导混合高斯分布
求均值
求方差
扫一扫
1391
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
