深入理解EM推导过程

首先都有参考两篇文章：

http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html

http://blog.csdn.net/zouxy09/article/details/8537620

觉得他们写的非常好，可以参考，下面的内容也是自己看完了之后的一个整理的过程：

1 最大似然概率

   例子是说测量校园里面同学的身高分布，分为男生和女生，分别抽取100个人...具体的不细讲了，参考文档中讲得很详细。假设他们的身高是服从高斯分布的。但是这个分布的均值u和方差∂²我们不知道，这两个参数就是我们要估计的。记作θ=[u, ∂]^T。

      我们独立地按照概率密度p(x|θ)抽取100了个（身高），组成样本集X，我们想通过样本集X来估计出未知参数θ。这里概率密度p(x|θ)我们假设是是高斯分布N(u,∂)的形式，其中的未知参数是θ=[u, ∂]^T。抽到的样本集是X={x₁,x₂,…,x_N}，其中x_i表示抽到的第i个人的身高，这里N就是100，表示抽到的样本个数。那么

我同时抽到这100个男生的概率就是他们各自概率的乘积了。就是从分布是p(x|θ)的总体样本中抽取到这100个样本的概率，也就是样本集X中各个样本的联合概率，用下式表示：

X就是我们的样本是测量值，所以是已知的，那么这个式子就是表示在θ参数的情况下抽取得到这个样本集的概率，这里L(θ)就是参数θ相对于样本集的似然函数（likehood function）

似然函数这里我觉得可以理解为，X样本集代表一个目标函数或者是一个事实，现在的目标就是通过调整θ参数使这个样本出现的概率最大。这是一个反推的过程就是已经知道一个结果，那么就是找到出现这个结果的最大概率。

θ的最大似然估计量，记为：

有时，可以看到L(θ)是连乘的，所以为了便于分析，还可以定义对数似然函数，将其变成连加的：

下面剩下的问题就是对函数求极值， 怎么求一个函数的最值？当然是求导，然后让导数为 0 ，那么解这个方程得到的 θ 就是了（当然，前提是函数 L( θ )连续可微 ）。那如果 θ 是包含多个参数的向量那怎么处理啊？当然是求 L( θ )对所有参数的偏导数，也就是梯度了，那么 n 个未知的参数，就有 n 个方程，方程组的解就是似然函数的极值点了，当然就得到这 n 个参数了。

求最大似然函数估计值的一般步骤：

（1）写出似然函数；

（2）对似然函数取对数，并整理；

（3