最大期望算法(Expectation-maximization algorithm,又译为期望最大化算法),是在概率模型中寻找参数最大似然估计或者最大后验估计的算法,其中概率模型依赖于无法观测的隐性变量。
最大期望算法经过两个步骤交替进行计算:
第一步是计算期望(E),利用对隐藏变量的现有估计值,计算其最大似然估计值;
第二步是最大化(M),最大化在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一个E步计算中,这个过程不断交替进行。
下面通过高斯混合模型和k-均值聚类方法来举例。
需要数学知识如下:
- 协方差
- 多维高斯模型
- 混合高斯模型
首先我们看下最简单的高斯模型:
推导过程如下:
下面来看看多维高斯分布、
问题转化为:
求解为:
下面介绍高斯混合模型
目标函数即极大似然函数为:
问题来了,这个很难求极值。这个是非凸问题,无法求全局极值,只能求局部极值。
一般只能用下面三种方法
- 梯度下降
- 启发式方法
- EM算法(只对某一类局部极值问题有解)
这里对高斯模型就是采用我们的EM算法。为什么采用EM算法,理由如下:理论优美,不需要调任何参数。
下面是求解高斯混合模型参数的EM算法
1. 随机化参数 也就是假设有k个高斯分布
2. E-step
2. M-step
4. 回到2E-step 循环 直到收敛。
证明略。
再看EM算法在k-means clustering的应用。
假定k是已知的。