点击上方“小白学视觉”，选择加"星标"或“置顶”
重磅干货，第一时间送达
EM（Expectation Maximum，期望最大化）是一种迭代算法，用于对含有隐变量概率参数模型的极大似然估计或极大后验估计。模型参数的每一次迭代，含有隐变量概率参数模型的似然函数都会增加，当似然函数不再增加或增加的值小于设置的阈值时，迭代结束。
EM算法在机器学习和计算机视觉的数据聚类领域有广泛的应用，只要是涉及到后验概率的应用，我们都可以考虑用EM算法去解决问题。EM算法更像是一种数值分析方法，正确理解了EM算法，会增强你机器学习的自学能力，也能让你对机器学习算法有新的认识，本文详细总结了EM算法原理。
目录
1. 只含有观测变量的模型估计
2. 含有观测变量和未观测变量的模型参数估计
3. EM算法流程
4. 抛硬币问题举例
5. 高斯混合模型的参数估计
6. 聚类蕴含的EM算法思想
7. 小结
1. 只含有观测变量的模型估计
我们首先考虑比较简单的情况，即模型只含有观测变量不含有隐藏变量，如何估计模型的参数？我们用逻辑斯蒂回归模型（logistic regression model）来解释这一过程。
假设数据集有d维的特征向量X和相应的目标向量Y，其中
，
。下图表示逻辑斯蒂回归模型：
由之前的文章介绍，逻辑斯蒂回归模型的目标预测概率是S型函数计算得到，定义为：
若
，则目标预测变量为1；反之，目标预测变量为0。其中w是待估计的模型参数向量。
机器学习模型的核心问题是如何通过观测变量来构建模型参数w，最大似然方法是使观测数据的概率最大化，下面介绍用最大似然方法（Maximum Likelihood Approach）求解模型参数w。
假设数据集
，样本数据
，模型参数
。
观测数据的对数似然函数可写为：
由对数性质可知，上式等价于：
式(1)代入式(2)，得：
其中：
由于(3)式是各个样本的和且模型参数间并无耦合，因此用类似梯度上升的迭代优化算法去求解模型参数w。
因为：
由式(4)(5)(6)可得：
因此，模型参数w的更新方程为：
其中η是学习率。
根据梯度更新方程（7）迭代参数w，似然函数L(w)逐渐增加，当似然函数收敛时，模型参数w不再更新，这种参数估计方法称为最大似然估计。
2.含有观测变量和因变量的模型参数估计
上节介绍当模型只含有观测变量时，我们用极大似然估计方法计算模型参数w。但是当模型含有隐变量或潜在变量（latent）时，是否可以用极大似然估计方法去估计模型参数，下面我们讨论这一问题：
假设V是观测变量，Z是隐变量，
是模型参数，我们考虑用极大似然估计方法去计算模型参数：
由于隐变量在log内部求和，造成不同参数间相互耦合，因此用极大似然方法估计模型参数非常难。(8)式不能估计模型参数的主要原因是隐变量，若隐变量Z已知，完全数据的似然函数为
，为了书写方便，观测变量V，Y统一用V表示，即
。
那么问题来了，如何通过已观测变量估计隐变量Z的值？这个时候我们想到了后验概率：
EM算法最大化完全数据在隐变量分布的对数似然函数期望，得到模型参数
，即：
现在我们总结EM算法的流程：
1）初始化模型参数
；
2）E步估计隐变量的后验概率分布：
3）M步估计模型参数
：
4）当模型参数
或对数似然函数收敛时，迭代结束；反之
，返回第（2）步，继续迭代。
3.EM算法的更深层分析
上节我们介绍了EM算法的模型参数估计过程，相信大家会有个疑问：为什么最大化下式来构建模型参数。
下面我给大家解释这一算法的推导过程以及其中蕴含的含义：
假设隐藏变量的理论分布为
，观测数据的对数似然函数可以分解为下式：
由贝叶斯理论可知：
（9）式得：
分子分母除q(Z)，得：
（10）式第二项表示相对熵，含义为隐变量后验概率分布与理论概率分布的差异，相对熵的一个性质是：
根据（10）式我们推断：
因此观测数据的对数似然函数的下界为
，如果我们能够极大化这个下界，那么同时也极大化了可观测数据的对数似然函数。
当相对熵等于0时，即：
由上式得到隐藏变量的后验概率分布与理论分布相等，即：
进而（11）式等号成立，即：
取得上界，现在我们需要最大化
的上界，即：
当相对熵等于0时，式(12)代入式(13)得到
的上界为：
式（15）的第二项对应隐变量的熵，可看成是常数，因此最大化（15）式等价于最大化
，其中：
最大化（16）式对应上节介绍EM算法的M步。
是不是对EM算法有了新的认识，本节重新整理算法EM的流程：
1）初始化模型参数为
；
2）当等式（12）成立时，
取得上界，最大化
等价于最大化下式：
3）最大化
，返回参数
；
4）当
收敛时，迭代结束；否则
，算法返回到第（2）步继续迭代；
为了大家清晰理解这一算法流程，下面用图形表示EM算法的含义。
E步：模型参数是
时，由（13）式可知
，用黑色实心点标记；
M步：最大化
，返回参数
，用红色实心点标记；
令
，重复E步和M步，当
收敛时，迭代结束。
4.抛硬币问题举例
我们有两种硬币A和B，选择硬币A和硬币B的概率分别为π和（1-π），硬币A和硬币B正面向上的概率分别为p和q，假设观测变量为
，1，0表示正面和反面，i表示硬币抛掷次数；隐变量
，1，0表示选择硬币A和硬币B进行抛掷。
问题：硬币共抛掷n次，观测变量已知的情况下求模型参数
的更新表达式。
根据EM算法，完全数据的对数似然函数的期望：
其中
表示观测数据
来自掷硬币A的概率，用
表示：
最大化
，得到如下更新表达式：
现在我们知道了模型参数
的更新方程，假设共抛掷硬币10次，观测结果如下：1,1,0,1,0,0,1,0,1,1。
初始化模型参数为：
由式（18）得：
利用模型参数更新得：
由式（18），得：
模型参数继续更新：
因此，
收敛时，最终的模型参数为：
表示选择硬币A和硬币B的概率是一样的，如果模型参数的初始值不同，得到的最终模型参数也可能不同，模型参数的初始化和先验经验有关。
5.高斯混合模型的参数估计
一维变量的高斯分布：
其中u和
分别表示均值和标准差。
n维变量的高斯分布：
其中u是n维均值向量，
是n×n的协方差矩阵。
n维变量的混合高斯分布：
该分布共由k个混合成分组成，每个混合成分对应一个高斯分布，其中
与
是第k个高斯混合成分的均值和协方差。
是归一化混合系数，含义为选择第k个高斯混合成分的概率，满足以下条件：
下图为k=3的高斯混合成分的概率分布图（红色）：
假设由高斯混合分布生成的观测数据
，其对数似然函数：
我们用EM算法估计模型参数，其中隐变量对应模型的高斯混合成分，即对于给定的数据x，计算该数据属于第k个高斯混合分布生成的后验概率，记为
。
根据贝叶斯定律：
最大化式（19），令
由式（20）（21）（22）（23）可得模型参数：
下面小结EM算法构建高斯混合模型的流程：
1）初始化高斯混合模型的均值
，协方差
和混合系数
，计算完全数据的对数似然值（式（19））；
2）E步：使用当前的参数值，通过下式计算均值：
表示观测数据x属于第k个高斯混合成分的后验概率；
3）M步：最大化对数似然函数，得到式（24）（25）（26）的模型更新参数；
4）根据更新的参数值，重新计算完全数据的对数似然函数：
若收敛，则得到最终的模型参数值；反之，回到算法第（2）步继续迭代。
6.聚类蕴含的EM算法思想
我们可以把聚类理解为：计算观测数据x属于不同簇类的后验概率，记为
，其中j是簇类个数（j=1,2,...,K），观测数据x所属的簇标记
由如下确定：
我们可以用EM算法计算每个样本由不同高斯混合成分生成的后验概率，步骤可参考上一节。
【例】 如下的观测数据，假设簇类个数K=2，初始化每个高斯混合参数得到
，根据式（27）得到聚类结果：
根据上一节介绍的EM算法步骤，迭代1次后得到
，根据式（27）得到聚类结果：
迭代5次后得到
，根据式（27）得到聚类结果：
迭代20次后的
，根据式（27）得到聚类结果：
k均值聚类是高斯混合聚类的特例，k均值假设各个维是相互独立的，其算法过程也可用EM思想去理解：
1）初始化簇类中心；
2）E步：通过簇类中心计算每个样本所属簇类的后验概率
；
3）M步：最大化当前观测数据的对数似然函数，更新簇类中心
4）当观测数据的对数似然函数不再增加时，迭代结束；反之，返回（2）步继续迭代；
7.小结
EM算法在各领域应用极广，运用了后验概率，极大似然方法和迭代思想构建最优模型参数，后续文章会介绍EM算法在马尔科夫模型的应用，希望通过这篇文章能让读者对EM算法不再陌生。
参考
https://towardsdatascience.com
下载1：OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。
下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~
3065
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
