【趣说算法】用分糖果解释最大期望算法

目录

1 最大似然估计

2 最大期望算法的通俗解释和计算步骤

3 最大期望算法的应用

---

最大期望算法在机器学习中被广泛地应用，如何理解最大期望算法的基本原理，听我讲讲吧。

1 最大似然估计

最大期望算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法。而最大似然估计是已经知道了结果，然后寻求使该结果出现的可能性最大的条件，以此作为估计值。比如，如果其他条件一定的话，抽烟者发生肺癌的危险是不抽烟者的5倍，那么如果现在已经知道有个人是肺癌，这个人抽烟还是不抽烟呢？我们会怎么判断呢？我们大家都知道，抽烟更容易发生肺癌，那么我们会猜测这个人不抽烟吗？我相信大家更有可能会说，这个人抽烟。为什么？这就是“最大可能”，我只能说他“最有可能”是抽烟的，“他是抽烟的”这一估计值才是“最有可能”得到“肺癌”这样的结果。这就是最大似然估计。下图描述了似然度的各种程度。

最大似然估计是建立在极大似然原理的基础上的一种统计方法，极大似然原理的直观想法是：一个随机试验如有若干个可能的结果A，B，C，…。若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大。极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。什么情况下某种实验结果的概率最大，这种情况就是我们估计的值。下图给出了一个双参数Weibull分布的似然函数曲面图的例子。

图片来源：Maximum Likelihood Estimation (MLE), this issue's Reliability Basic

2 最大期望算法的通俗解释和计算步骤

在描述最大期望算法的计算步骤之前，我们先来看一个例子。儿童节快要到了，我们和小朋友等分糖果，通常我们懒得去点糖果的个数，所以我们也就不知道每个人到底该分多少个。一般怎么做呢？先把一袋糖果目测分为两袋，然后把两袋糖果拿在左右手，看哪个重，如果右手重，那很明显右手这袋糖果多了，然后我们再在右手这袋糖果中抓一把放到左手这袋，然后再感受下哪个重，然后再从重的那袋抓一小把放进轻的那一袋，继续下去，直到我们感觉两袋糖果差不多相等了为止。这个过程就是最大期望算法的形象解释。

基于上面的过程，我们来看最大期望算法的计算步骤。

1. 初始化分布参数

2. 重复直到收敛：

   1. E（估计）步骤：估计未知参数的期望值，给出当前的参数估计。

   2. M（度量）步骤：重新估计分布参数，以使得数据的似然性最大，给出未知变量的期望估计。

最大期望算法EM就是这样，假设我们估计知道A和B两个参数，在开始状态下二者都是未知的，并且知道了A的信息就可以得到B的信息，反过来知道了B也就得到了A。可以考虑首先赋予A某种初值，以此得到B的估计值，然后从B的当前值出发，重新估计A的取值，这个过程一直持续到收敛为止。

3 最大期望算法的应用

最大期望算法用于机器学习和计算机视觉的数据聚类，高斯混合模型Gaussian mixture和K均值K-means聚类算法都是最大期望算法。

混合高斯模型图片如下：

 

在特定约束条件下，K-means算法可以被看作是高斯混合模型（GMM）的一种特殊形式。下图是K-means方法聚类的结果。

 图片来源：https://i.stack.imgur.com/cIDB3.png

高斯混合模型的详细内容，可以观看以下视频。斯坦福大学公开课 ：机器学习课程-高斯混合模型-网易公开课

欢迎留言，一起讨论人工智能和机器学习。