EM算法原理总结

参考：
https://www.cnblogs.com/pinard/p/6912636.html
https://zhuanlan.zhihu.com/p/40991784
《统计学习方法》李航

1 EM算法

EM算法是一种迭代算法，用于含有隐变量（hidden variable）的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望（expectation）；M步，求极大（maximization）。所以这一算法称为期望极大算法（expectation maximization algorithm），简称EM算法。其基本思想是：首先根据己经给出的观测数据，估计出模型参数的值；然后再依据上一步估计出的参数值估计缺失数据的值，再根据估计出的缺失数据加上之前己经观测到的数据重新再对参数值进行估计，然后反复迭代，直至最后收敛，迭代结束。

一个最直观了解EM算法思路的是K-Means算法。在K-Means聚类时，每个聚类簇的质心是隐含数据。我们会假设K个初始化质心，即EM算法的E步；然后计算得到每个样本最近的质心，并把样本聚类到最近的这个质心，即EM算法的M步。重复这个E步和M步，直到质心不再变化为止，这样就完成了K-Means聚类。

2 预备知识

2.1 Jensen不等式

基本条件：$f(x)$为凸函数
离散型Jensen不等式：
若 ${\theta }_1,...,{\theta }_k\ge 0$ ，${\theta }_1+...+{\theta }_k=1$ ，则：$$f({\theta }_1{x}_1+...+{\theta }_k{x}_k)\le {\theta }_{1}f(x_1)+...+{\theta }_{k}f(x_k)$$
连续型Jensen不等式：
若 $p(x)\ge 0$ ，${\int }_{S}p(x)dx=1$ ，则：$$f({\int }_{S}p(x)xdx)\le {\int }_{S}f(x)p(x)dx$$

进一步理解上离散型Jensen不等式：${\theta }_1+...+{\theta }_k$ 实际是 $x_i$ 在给定 ${\theta }_i$ 的分布上X的期望，${\theta }_{1}f(x_1)+...+{\theta }_{k}f(x_k)$ 实际是 $f(x_i)$ 在给定 ${\theta }_i$ 的分布上X的期望，那么我们有：$$f(EX)\le Ef(X)$$当$f(x)$为凹函数时，有：$$f(EX$$