EM算法--ML之六

EM算法

基本概念

Jensen不等式

Jensen不等式是EM算法最重要的一个公式，具体如下：

最大似然估计

最大似然估计在线性回归和逻辑回归中都说过，简单说，就是在估计过程中，估计最大可能的情况。

二项分布的最大似然估计

硬币投掷实验是解释二项分布的最好解说，投币实验过程中，进行N次独立实验，n次朝上，N-n次朝下，假定朝上的概率为p，那么p = n/N

GMM算法

高斯混合模型是EM算法非常典型的应用，高斯混合模型从名词上讲就是多个高斯模型混合到一起的点分布知道了，然后给定一个点，让估计是其中哪一个高斯模型的概率以及各高斯分布的分布。

问题

目标函数

由于在对数函数里有加和，我们无法直接用求导解方程的方法直接求得最大值，为了解决这个问题，分为两步：
1. 第一步：估算数据来自哪个组份

2. 估计每个组份的参数

EM算法

EM算法提出

假定有数据集：
{x1，x2，…, xm}
包含m个独立样本，希望从中找到该组数据的模型p(x,z)的参数

通过最大似然估计建立目标函数

总结