一、EM算法简介
EM算法全称为Exception Maximization Algorithm,即最大期望算法,以下简称EM算法。它是一种迭代的算法,主要用于含有隐变量的概率参数模型的极大似然和极大后验概率估计。EM算法也经常用于机器学习和计算机视觉的聚类领域,是一个非常重要的算法。
二、EM算法原理
要了解EM算法,就必须先了解极大似然估计,因为整个的EM算法的演算、推导,都是以极大似然估计为基础。
2.1 极大似然估计
2.1.1 两点分布
首先我们来看一个简单的例子:假设我们现在有一个抛硬币的实验,10次抛硬币的结果是:正正反正正正反反正正,记p为每次抛硬币的结果为正的概率,那么这次实验的结果发生的概率记为P:

得到了上述的等式,那么当小p取何值时大P能够取得最大值呢?也就是当小p取何值时,这次实验的结果最容易发生。对此我们利用极大似然估计,反过来当大P取最大值时,我们就可以求得此时的小p值。
目标函数:

最优解是:

一般形式:
将上述的实验化成一般形式,即假设有X次实验,实验结果的概率为p(x),分布为,则其一般形式为:

2.1.2 高斯分布
进一步考察:
若给定一组样本x1 ,x2 …xn ,已知它们来自于高斯分布N(μ,σ),试估计参数μ,σ?高斯分布的均值为μ,方差为σ,仍使用刚开始的极大似然估计来求解这个过程。
按照MLE的过程分析:
1.高斯分布的概率密度函数:

2.将Xi的样本值xi带入上述极大似然估计(MLE)的一般形式,得到极大似然函数:

3.化简对数似然函数得到目标函数:

本文详细介绍了EM(最大期望)算法,从基本概念到实际应用,包括极大似然估计、混合高斯模型以及如何处理隐变量。通过实例解析了如何在有隐变量的情况下估计参数,阐述了EM算法的核心步骤,并探讨了其优缺点。最后,文章提供了一个商场顾客身高分布的案例,展示了EM算法在解决实际问题中的应用。
最低0.47元/天 解锁文章
3万+

被折叠的 条评论
为什么被折叠?



