EM算法的应用--高斯混合模型学习

适用问题

高斯混合模型：

$$P(y\mid \theta)=\sum_{k=1}^{K}\alpha_{k}\phi(y\mid \theta_{k})$$
可以视为由不同模型参数 $\theta_{k}=(\mu_{k},\sigma_{k}^{2})$构成的不同高斯分布，由不同的权重 $\alpha_{k}$来共同决定y的概率。
算法需要输入观测数据 $y_{1},y_{2}....y_{n}$和高斯混合模型，得到该混合模型的参数 $\alpha,\mu,\sigma$

算法

原理

实质上是无监督的EM模型

观测数据$y_{j}$来自第k个分模型的概率是未知的 可以视为隐变量
定义$\gamma_{jk}$为，若观测数据$y_{j}$来自第k个分模型，则$\gamma_{jk}$=1 否则为0

要套用EM的算法 需要知道$P(y,\gamma \mid \theta)$和$P(\gamma \mid y,\theta)$

$P(y,\gamma \mid \theta)=\prod_{j=1}^{N} P(y,\gamma_{j1},\gamma_{j2}...\gamma_{jk}, \mid \theta)$

$=\prod_{j=1}^{N} P(y,\gamma_{j1}\mid \theta)P(y,\gamma_{j2}\mid \theta)....P(y,\gamma_{jk}\mid \theta)$

$=\prod_{k=1}^{K}\prod_{j=1}^{N}[a_{k}\phi(y\mid \theta_{k})]^{\gamma_{jk}}$
带入高斯混合模型 若观测数据不来自该分布，则指数为0

带入高斯分布公式，即可获得关于$\alpha_{k},\mu_{k},\sigma_{k}$的$P(y,\gamma \mid \theta)$

在统计学习方法中 作者直接使用对Z的期望计算Q，但实际上E($\gamma_{jk}$)依旧是需要使用$P(\gamma \mid y,\theta)$ 获得

$E\gamma_{jk} = P(\gamma_{jk}=1 \mid y,\theta)$

带入后即可获得Q函数 分别令对$\alpha_{k},\mu_{k},\sigma_{k}$ 偏导为零即可获得下一步迭代的 $\theta_{k}$

参考资料：李航 《统计学习方法》