E-M算法对我影响很大的两篇回答

【机器学习】EM——期望最大（非常详细） - 知乎

人人都懂EM算法 - 知乎

EM算法中很经典的硬币例子：

对于有标记的硬币，我们可以轻易地用极大似然估计来确定每个硬币正面朝上的概率

当你不知道是什么硬币的时候，想要求这个模型θA与θB的值的时候，就只能靠迭代算法来估计，现在我们知道Z会有A,B两个值（隐变量），现在就得求《已知样本》和《模型参数（我们设的）》下的隐变量分布

 EM算法的第一步是求E，上面这两个图片来自两个帖子的答主，总的来说就是求Qi（Z^i)：

这个表格列出了《每个已知样本》也就是xi(i=1 to 5)使用《设定模型参数θ(t)》来获得的隐变量分布。这个的意义就是每个实验是硬币A还是硬币B的概率。

在M步的时候这里对Z（i）求和了，P（y_j,z|θ）就是在已经知道theta，还有z是哪一类的时候取得样本的概率（我暂时也不晓得为毛联合分布会是这样，看见的朋友可以跟我说一下），外面的那个大求和应该是对大Z求积分，也就是样本个数的z, 数目是5，里面的求和是对z(i)这个小z的可能取值求和（期望）也就是i = 2（A and B)。这样子不断迭代就可以得到俺们的目标值啦~

突然有个启发就是，我们在log函数里把圈起来的这坨作为x的变量

在这里log+圈起来的这一坨，圈起来的这一坨在平常都有很多项，包含了各种z，就相当于E(x) = 0.5x + 0.5b这样，当这玩意是常数的时候，那么就OK了，凹函数中《变量期望的函数值》大于《固定变量函数值的期望》