EM算法 --入门级详解

一：EM算法简介

EM算法简单来说就是一种迭代优化策略，由于它的计算方法中每一次迭代都分两步，其中一个为求期望步（E步），另一个为求极大值步M步），所以算法被称为EM算法（Expectation Maximization
Algorithm）。EM算法适用于求解那些含有隐变量的问题，也就是说你待求解的样本中含有无法观测到的记录值。要学习EM算法，我们需要先了解两个概念：极大似然估计和Jensen不等式。

二：极大似然估计

首先来了解一下极大似然估计。这个时候就需要小明友情客串一下了。假如小明今年刚考入大学，他在校园里闲逛，发现从身边经过的每十个人里有八个都是女生，他就想说：妥了，我指定能找到女朋友！那为什么小明会产生“能找到女朋友”这样的想法呢？其实这里就用到了极大似然估计的思想——根据观测到的样本结果推测使该结果出现的最大可能。也就是说，我们可以把极大似然看作一个反推，即根据结果推算使该结果出现的可能性最大的条件。
再举一个例子：现在我们从学校为数不多的男生中随机抽取100个男生，加入这些男生的身高服从同一个高斯分布：X~N（ u, ∂ ）。分别记录他们的身高数据为X={x1,x2,x3,…,x100}，但是我们不知道他们身高服从的高斯模型的参数是多少，所以我们的目标就是求解参数：θ=[u, ∂]T。在这里我们记抽到第i个男生身高的概率为𝑝(x𝑖|𝜃)，假设这100个男生的身高是独立同分布的，也就是说我抽到第1个男生的身高对我抽到其他男生的身高是没有影响的，那么抽到这100个男生的身高的