0 简述
EM算法应对的问题
随机变量X={Y,Z}中Y为观测变量，存在一部分不能直接观测的变量Z，因此不能直接使用最大似然方法估计参数。
EM基本思路
<1>[Expectation] 直接假设分布参数的初始值，求隐变量Z期望,从而"补全"不完全观测数据，相当于得到了完全变量X的观测样本。
<2>[Maximization] 利用最大似然估计更新假设参数，并迭代<1>，直到参数的变化收敛到设定值。
1 最大似然估计
最大似然估计的前提是所有随机变量X均是可观测的。但是现实中一些情况下只有部分变量Y可观测，而存在隐变量Z不可观测。
即最大化观测数据对应的似然函数
L
(
θ
)
=
l
o
g
P
(
Y
∣
θ
)
=
l
o
g
∑
Z
P
(
Y
,
Z
∣
θ
)
=
l
o
g
∑
Z
P
(
Y
∣
Z
,
θ
)
P
(
Z
∣
θ
)
L(θ)=logP(Y|θ) = log \sum_{Z}P(Y,Z|\theta) = log \sum_{Z}P(Y|Z,\theta)P(Z|\theta)
L(θ)=logP(Y∣θ)=logZ∑P(Y,Z∣θ)=logZ∑P(Y∣Z,θ)P(Z∣θ)
由于该式子中存在未观测数据，并且存在和的对数，因此难以直接通过解析解求极值。需要寻找数值迭代的方法逐步逼近极值。
参考
https://wenku.baidu.com/view/ff588b5af01dc281e53af088.html
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
