机器学习——EM算法

最新推荐文章于 2022-10-08 23:43:54 发布

yhgao96

最新推荐文章于 2022-10-08 23:43:54 发布

阅读量437

点赞数

分类专栏：算法机器学习

本文链接：https://blog.csdn.net/m0_37570854/article/details/88838267

版权

本文详细介绍了EM（期望值最大化）算法，从极大似然估计出发，讲解了Jensen不等式，并通过实例展示了EM算法的推导、代码实现及应用。EM算法在处理存在隐含变量的优化问题，如高斯混合模型、概率主成分分析和隐马尔科夫模型中发挥重要作用。

摘要由CSDN通过智能技术生成

EM(Exception Maximization)算法

引言：在动笔之前，我在网上翻阅了许多的资料，生怕自己理解的不透彻，网上也有许多良心之作，对我理解该算法起到了巨大的帮助作用，EM算法既简单又复杂，简单在于它的思想是非常简单的，仅包含两个步骤就能完成强大的功能，复杂在于它对数学基础要求比较高，公式推导相对比较繁琐，可能世界上最伟大的东西都是这样吧，越是简单的东西却有着复杂的机理，但是越复杂的东西有时又蕴含着简单的道理。下面就把我在学习该算法的过程写下来，希望对后面的人学习有所帮助！

一、极大似然估计

在介绍EM算法之前，需要先复习一下极大似然估计，什么是极大似然估计呢？举个例子，假定现在需要调查我们学校男生和女生的身高分布，这么多学生怎么办，不可能一个一个去问吧，所以就需要抽样。现在在学校随机抽取了100位男生和100位女生，分别统计他们的身高，从统计学角度可以知道男生和女生的身高分别是服从高斯分布的，但是这两个分布的均值 $\mu$ 和方差 $\sigma ^{2}$ 都不知道，所以我们就需要从这些样本中来估计这两个参数，记作 $\theta =[\mu ,\sigma ^{2}]^{T}$ 。下面先以男生的身高分布说明，女生的同理。

在学校这么多男生中，我们独立的按照概率密度 $p(x|\theta )$ 抽取了100个人，组成了样本集X，我们想通过样本集X来估计出参数 $\theta$ ，这里的概率密度 $p(x|\theta )$ 是高斯分布 $N(\mu ,\sigma ^{2})$ 的概率密度函数，其中的未知参数是 $\theta =[\mu,\sigma ^{2}]^{T}$ ，抽到的样本集是 $X=X_{1},X_{2},X_{3}...X_{i}$ ，其中 $X_{i}$ 表示抽到的第i个人的身高，i在这里最大值取100，表示抽到的样本个数。这些样本都是独立选择的，所以同时抽到这100个男生的概率就等于他们各自的概率乘积，即从分布是 $p(x|\theta )$ 的总体样本中抽取到这100个样本的概率，就是样本集X中各个样本的联合概率，用下式表示：

$L(\theta)=L(x_{1},x_{2}...,x_{n};\theta)=\prod_{i=1}^{n}p(x_{i};\theta)$

$x_{i}$ 就是我们的样本值，是已知的，那么上式就表示在参数 $\theta$ 已知的情况下抽取得到的这个样本的概率，这里的 $L(\theta)$ 就是参数 $\theta$ 相对样本集的似然函数（likehood function）。

似然函数在这里可以这样理解，X样本代表一个目标函数或者是一个事实，现在的目标是通过调整参数 $\theta$ 使得刚才的这些样本出现的概率最大。这是一个反推过程，就是已经知道一个结果，就是找到了出现这个结果的最大概率。

$\theta$ 的极大似然估计量，记为：

$\hat{\theta }=argmaxL(\theta)$

为了方便分析，可以定义对数似然函数，将其变为连加的形式：

$lnL(\theta)=ln\prod_{i=1}^{n}p(x_{i};\theta)=\sum_{i=1}^{n}lnp(x_{i};\theta)$

ok，现在我们知道，要求 $\theta$ ，只需要使 $\theta$ 的似然函数 $L(\theta)$ 最大化，然后极大值对应的 $\theta$ 就是我们的估计。问题这个时候就转化为怎么样求解函数 $L(\theta)$ 的极值，当然就是利用求导，令导数值为0，此时解出 $\theta$ 就可以了，但是前提必须是函数 $L(\theta)$ 是连续可导的。如果 $\theta$ 是包含多个参数的向量，那么就对所有的参数求偏导，有n个未知的参数，就有n个方程，方程组的解就是似然函数的极值点了。

总结一下求最大似然估计值得一般步骤：

（1）写出似然函数；

（2）对似然函数取对数，并整理；

（3）求导数，令导数为0，得到似然函数；

（4）解似然方程，得到的参数即为所求；

好了，说到这里，还不知道似然函数和EM算法有什么联系，我们注意到这里的参数只是对应了一个类别，即男生的身高或者女生的身高，就是在已知这一群人都是男生或者女生的情况下，获得这个类别的参数