EM算法在高斯混合模型中的应用

高斯混合模型GMM

---

---

注：该文章与《统计学习方法》by 李航 中的章节大致相同。
回顾EM算法的可以参考EM算法

高斯混合模型定义

  高斯混合模型是指具有如下形式的概率分布模型：

$$P(y|\theta)=\sum_{k=1}^{K}\alpha_k\Phi(y|\theta_k)\qquad(1)$$   其中， $\alpha_k$是系数， $\alpha_k \geqslant 0, \sum_{k=1}^{K}\alpha_k=1$； $\Phi(y|\theta_k)$是 高斯分布密度， $\theta_k=(\mu_k, \sigma_k^2)$， $$\Phi(y|\theta_k)=\frac{1}{\sqrt{2\pi}\sigma_k}exp[-\frac{(y-\mu_k)^2}{2 \sigma_k^2}]\qquad(2)$$   称为第k个模型。

一般可以用任意概率分布密度代替式(2)中的高斯分布。

---

GMM参数估计的EM算法

  假设观测数据$y_1,y_2,...,y_N$由高斯混合模型生成，

$$P(y|\theta)=\sum_{k=1}^{K}\alpha_k\Phi(y|\theta_k)$$
  其中， $\theta=(\alpha_1,\alpha_2,...,\alpha_K; \theta_1,\theta_2,...,\theta_K)$。我们使用 EM算法估计高斯混合模型的参数 $\theta$。

---

1. 明确隐变量，写完全数据对数似然函数

  观测数据$y_j,j=1,2,...,N$的是这样产生的：首先依概率$\alpha_k$选择第k个高斯分布模型$\Phi(y|\theta_k)$；然后依得到的高斯分布产生观测数据$y_j$。此时，观测数据$y_j,j=1,2,...,N$已知，但是我们根据观测数据$y_j$并不能判断出来它来自于哪个高斯分布，我们以隐变量$\gamma_{jk}$表示观测观测数据$y_j$来自于第k个高斯分布，如果$y_j$来自第k个高斯分布模型，则$\gamma_{jk}=1$，否则$\gamma_{jk}=0$。
  此时我们的完全数据(观测变量+隐变量)是：

$$(y_j,\gamma_{j1},\gamma_{j2},...,\gamma_{jK}),\ j=1,2,...,N$$
  我们可以写出 完全数据的似然函数： $$P(y,\gamma|\theta)=\prod_{j=1}^{N}P(y_j,\gamma_{j1},\gamma_{j2},...,\gamma_{jK}|\theta)$$ $$=\prod_{k=1}^{K} \prod_{j=1}^{N}[\alpha_k \Phi(y_j|\theta_k)]^{\gamma_{jk}}$$ $$=\prod_{k=1}^{K} \alpha_k^{n_k} \prod_{j=1}^{N}[\Phi(y_j|\theta_k)]^{\gamma_{jk}}$$ $$=\prod_{k=1}^{K} \alpha_k^{n_k} \prod_{j=1}^{N}[\frac{1}{\sqrt{2\pi}\sigma_k}exp[-\frac{(y-\mu_k)^2}{2 \sigma_k^2}]]^{\gamma_{jk}}$$   其中 $n_k=\sum_{j=1}^{N}\gamma_{jk},\ \sum_{k=1}^{K}n_k=N$。
  那么 完全数据的对数似然概率为： $$log\ P(y,\gamma|\theta)=\sum_{k=1}^{K}[n_klog\alpha_k+\sum_{j=1}^{N}\gamma_{jk}[log(\frac{1}{\sqrt{2\pi}})-log\sigma_k-\frac{1}{2\sigma_k^2}(y_j-\mu_k)^2]]$$
   准备工作算是做完了，然后开始使用EM算法进行求解参数$\theta$。

---

2. EM算法的E步

  确定Q函数：

$$Q(\theta,\theta^{(i)})=E[log P(y,\gamma|\theta)|y,\theta^{(i)}]$$ $$=E[\sum_{k=1}^{K}[n_klog\alpha_k+\sum_{j=1}^{N}\gamma_{jk}[log(\frac{1}{\sqrt{2\pi}})-log\sigma_k-\frac{1}{2\sigma_k^2}(y_j-\mu_k)^2]]|y,\theta^{(i)}]$$ $$=\sum_{k=1}^{K}[\sum_{j=1}^{N}(E\gamma_{jk})log\alpha_k+\sum_{j=1}^{N}(E\gamma_{jk})[log(\frac{1}{\sqrt{2\pi}})-log\sigma_k-\frac{1}{2\sigma_k^2}(y_j-\mu_k)^2]]$$
   注意：这里的 $E\gamma_{jk}=E(\gamma_{jk}|y,\theta^{(i)})$！
 
  记 $\hat{\gamma}_{jk}=E\gamma_{jk}$，则 $\hat{\gamma}_{jk}$的求解过程如下： $$\hat{\gamma}_{jk}=E(\gamma_{jk}|y,\theta^{(i)})=P(\gamma_{jk}=1|y,\theta^{(i)})$$ $$=\frac{P(\gamma_{jk},y_i|\theta^{(i)})}{\sum_{k=1}^{K}P(\gamma_{jk},y_i|\theta^{(i)})}$$ $$=\frac{P(y_j|\gamma_{jk}=1,\theta^{(i)})P(\gamma_{jk}=1|\theta^{(i)})}{\sum_{k=1}^{K}P(y_j|\gamma_{jk}=1,\theta^{(i)})P(\gamma_{jk}=1|\theta^{(i)})}$$ $$=\frac{\alpha_k\Phi(y_j|\theta_k^{(i)})}{\sum_{k=1}^{K}\alpha_k\Phi(y_j|\theta_k^{(i)})}\qquad(1)$$

  $\hat{\gamma}_{jk}$是当前模型参数$\theta^{(i)}$下观测数据$y_j$来自第k个高斯分布模型的概率，其中$j=1,2,...,N;$$\ k=1,2,...,K$

  将$\hat{\gamma}_{jk}=E\gamma_{jk}$以及$n_k=\sum_{j=1}^{N}\gamma_{jk}$代入(1)式得：

$$Q(\theta,\theta^{(i)})=\sum_{k=1}^{K}[n_klog\alpha_k+\sum_{j=1}^{N}(\hat{\gamma}_{jk})[log(\frac{1}{\sqrt{2\pi}})-log\sigma_k-\frac{1}{2\sigma_k^2}(y_j-\mu_k)^2]]\qquad(2)$$

  现在我们可以看到，(2)式未知变量中只有$\mu_k,\sigma_k$。下面就需要对该表达式进行极大化。

---

3. EM算法的M步

  在M步，我们只需要求解函数$Q(\theta,\theta^{(i)})$对$\theta$的极大值，即求解$\theta^{(i+1)}$：

$$\theta^{(i+1)}=arg\max_{\theta}Q(\theta,\theta^{(i)})$$    $\theta^{(i+1)}=(\hat{\mu}_k, \hat{\sigma}_k^2, \hat{\alpha}_k),\ k=1,2,...,K$，对各变量求偏导求极值可以求解得到变量值 $\hat{\mu}_k, \hat{\sigma}_k^2$，在 $\sum_{k=1}^{K}\alpha_k=1$条件下可以求偏导求极值得到变量 $\hat{\alpha}_k$。结果如下： $$\hat{\mu}_k=\frac{\sum_{j=1}^{N}\hat{\gamma}_{jk}y_j}{\sum_{j=1}^{N}\hat{\gamma}_{jk}},\ k=1,2,...,K$$ $$\hat{\sigma}_k^2=\frac{\sum_{j=1}^{N}\hat{\gamma}_{jk}(y_j-\mu_k)^2}{\sum_{j=1}^{N}\hat{\gamma}_{jk}},\ k=1,2,...,K$$ $$\hat{\alpha}_k=\frac{n_k}{N}=\frac{\sum_{j=1}^{N}\hat{\gamma}_{jk}}{N},\ k=1,2,...,K$$
  重复上述计算，直到对数似然函数值不再收敛为止。

---

参考

  李航 《统计学习方法》

---