统计学习方法——EM算法

EM算法

三硬币模型

我们定义
y是观测到的硬币值，也就是B(A为正)或者C(A为负)的正面或者反面，值为0或者1
z是不能观测的硬币值，也就是A为正或者A为负
所以由

这里我难以理解θ，感觉哪里又加哪里又不加。于是自己推导
P（Y）=∑P（Y/Z）P（Z）全概率公式
当Z=0时
当Z=1时

EM算法的参数估计

对上述式子求解，仅能用迭代的方法求解。推导省略，接下来看怎么解。首先10次硬币的结果

然后我们假设初值π0,p0,q0，计算下列值
这个值是直接带入计算的值，得到 u1=0.5

这三个相当于概率的新解，注意上下标。
上标i+1指的是第几次迭代求救
下标j指的是模型的参数，比如在这个实验中进行了十次投币，则需要j=1-10分别带入求解
π=(0.5)10/10这里困惑，因为uj+1是一个定值，不受j的影响，那这样写与π(j+1)=u(j+1)的区别在哪？
p1=∑(u0y)/∑(u0)=(0.5+0.5+0+0.5+0+0+0.5+0+0+0.5+0.5)/(5)=0.6
q1=∑(1-u0)y/∑(1-u0)=0.6
所以新解 π1=0.5，p1=0.6，q1=0.6
接下来继续迭代
π2=0.5
p2=(0.6+0.6+0+0.6+0+0+0.6+0+0+0.6+0.6)/(6)=0.6
q2=(0.4+0.4+0+0.4+0+0+0.4+0+0+0.4+0.4)/(4)=0.6
发现和上次的一样，则此为最终解。
注意，初值的不同，迭代结果也不一样