EM算法-机器学习中的隐变量估计利器

今天我们来谈谈业内地位很高，应用范围极广，非常好用的EM算法。

本文面向对象是热爱机器学习并渴望深入研究的小伙伴们，文章风格多以数学推导为主，每一步推导都会附带笔者自己的理解，希望大家在和笔者共同研究的过程中，一起感受数学的严谨和美～

首先，说起机器学习，不得不说一下周志华老师的西瓜书，可以说这本书是我机器学习启蒙的第一本书。今天讲EM算法，我们先简要看一下西瓜书的定义：

上述是西瓜书里面对于EM的全部解释，非常简洁，基本没有数学推导，只是解释了E步基于参数  对于隐变量Z的对数似然数学期望估计。解释了M步寻找参数最大化的似然估计。

看到这里，小伙伴们可能一脸懵逼。

就这样？？？

好吧，不要伤心，今天我们就从数学上一点点带大家走进EM，把问号一点点消除。

在此之前，实际上西瓜书在倒数第二段说的很好：

这实际上可以理解成我们在业内常说的“鸡生蛋，蛋生鸡”问题。即根据数据标签（data label）去生成在这种标签下最优模型，将模型因应用在刚才的数据上去重新生成在这种模型下的数据标签，然后用新生成的标签去重新估计模型，直到收敛，即模型和标签最终保持一致。但我们可以看到这种过程无法保证能让模型收敛到全局最优，所以EM可以收敛到局部最优解。在这里我们一定要注意，对于一般数据，如果每一个数据都有明确标签，那么EM算法是没有意义的，直接去用极大似然估计模型就好了，而一般的，我们是有一些数据有标签，一些数据没有标签，那么如何利用这些没有标签的数据去最好的估计我们的模型呢，在这里，EM算法有了它的数学魅力，所以我们可以看出EM多用于半监督学习（semi-supervise-learning）之中。

好了废话不多说，我们进入算法：