em算法怎么对应原有分类_EM算法原理

转自：https://www.cnblogs.com/Gabby/p/5344658.html

我讲EM算法的大概流程主要三部分：需要的预备知识、EM算法详解和对EM算法的改进。

一、EM算法的预备知识

1、极大似然估计

(1)举例说明：经典问题——学生身高问题

我们需要调查我们学校的男生和女生的身高分布。 假设你在校园里随便找了100个男生和100个女生。他们共200个人。将他们按照性别划分为两组，然后先统计抽样得到的100个男生的身高。假设他们的身高是服从高斯分布的。但是这个分布的均值u和方差∂2我们不知道，这两个参数就是我们要估计的。记作θ=[u, ∂]T。

问题：我们知道样本所服从的概率分布的模型和一些样本，而不知道该模型中的参数。

我们已知的有两个：(1)样本服从的分布模型(2)随机抽取的样本  需要通过极大似然估计求出的包括：模型的参数

总的来说：极大似然估计就是用来估计模型参数的统计学方法。

(2)如何估计

问题数学化： (1)样本集X={x1,x2,…,xN} N=100 (2)概率密度：p(xi|θ)抽到男生i(的身高)的概率 100个样本之间独立同分布，所以我同时抽到这100个男生的概率就是他们各自概率的乘积。就是从分布是p(x|θ)的总体样本中抽取到这100个样本的概率，也就是样本集X中各个样本的联合概率，用下式表示：

这个概率反映了，在概率密度函数的参数是θ时，得到X这组样本的概率。 需要找到一个参数θ，其对应的似然函数L(θ)最大，也就是说抽到这100个男生(的身高)概率最大。这个叫做θ的最大似然估计量，记为

(3)求最大似然函数估计值的一般步骤

首先，写出似然函数：

其次，对似然函数取对数，并整理：

然后，求导数，令导数为0，得到似然方程；

最后，解似然方程，得到的参数即为所求。

(4)总结

多数情况下我们是根据已知条件来推算结果，而极大似然估计是已经知道了结果，然后寻求使该结果出现的可能性最大的条件，以此作为估计值。

2、Jensen不等式

(1)定义

设f是定义域为实数的函数，如果对于所有的实数x。如果对于所有的实数x，f(x)的二次导数大于等于0，那么f是凸函数。  Jensen不等式表述如下：      如果f是凸函数，X是随机变量，那么：E[f(X)]>=f(E[X])  。当且仅当X是常量时，上式取等号。

(2)举例

图中，实线f是凸函数，X是随机变量，有0.5的概率是a，有0.5的概率是b。X的期望值就是a和b的中值了，图中可以看到E[f(X)]>=f(E[X])成立。         Jensen不等式应用于凹函数时，不等号方向反向。

二、传统EM算法详述

1、问