EM(expectation Maximization)期望最大是一种迭代算法,是一种对包含隐变量的概率模型,参数估计的极大似然估计法。第一步期望(E):利用当前参数计算对数似然的期望;第二步最大化(M)步,寻找使E步产生的对数似然期望最大化的参数值。迭代使用EM步直到收敛。
提纲挈领:隐变量,极大似然估计
假设训练数据集{x^1,x^2.....x^m}包含m个独立样本,无样本标签,我们希望得到模型p(y|x)。开始下面工作:
1.EM
对于每个样本i,设Qi关于zj的分布,Qi(zj)
最后一步采用Jensen不等式,log函数为上凸函数,f(E(x))>=E(f(x)),等式成立条件为f(x)=C,即
归一化得到:
Qi是一个后验概率,由xi和参数可以得到。M步:计算公式1的最大似然函数,得到参数的估计。