一般的,用Y表示观测随机变量的数据,Z表示隐随机变量的数据,Y和Z连在一起称为完全数据,只有观测数据Y称为不完全数据,假设给定观测数据Y,其概率分布为 P ( Y ∣ θ ) P(Y|θ) P(Y∣θ),那么不完全数据的似然函数就是 P ( Y ∣ θ ) P(Y|θ) P(Y∣θ),对数似然函数是 L ( θ ) = l o g ( P ( Y ∣ θ ) ) L(θ) = log(P(Y|θ)) L(θ)=log(P(Y∣θ)),假设Y和Z的联合概率分布是 P ( Y , Z ∣ θ ) P(Y,Z|θ) P(Y,Z∣θ),那么完全数据的对数似然函数是 l o g P ( Y , Z ∣ θ ) logP(Y,Z|θ) logP(Y,Z∣θ)(给定参数对当前出现的现象评测概率)。
EM算法通过迭代求
L
(
θ
)
=
l
o
g
(
P
(
Y
∣
θ
)
)
L(θ) = log(P(Y|θ))
L(θ)=log(P(Y∣θ))的极大似然估计,每次迭代包括两步:E步,求期望,M步,求最大化,下面介绍EM算法的步骤: