数据学习(9)·最大期望算法·混合高斯模型(上)

作者课堂笔记摘录，有问题请联系 humminwang@163.com

Preview

• 1. 高斯混合模型（Mixture of Gaussians）
• 2. 最大期望算法（EM）
• 3. 因子分析（Factor Analysis）

1 高斯混合（Mixture of Gaussians）

什么是高斯混合模型，我们可以简单理解为数据的生成来自不同的高斯分布，如上的鸢尾花数据集的例子，我们可以理解数据的生成是通过不同的高斯分布产生的，可推广到一般混合模型，只不过高斯分布我们使用的比较多而已。

---

一个混合模型假设数据产生于下列步骤：

• <1> 隐变量$z^{(i)}\in 1....K$,并且$z^{(i)}\sim Multinomial(\varphi )$
  $$p(z^{(i)}=j)={\varphi }_{j}forallj$$
  我们可以理解这个$z$为隐变量，也就是当数据产生时选择第几个高斯分布来产生这个数据。
• <2> 观测数据$x^{(i)}$来自分布$p(z^{(i)},x^{(i)}):$
  $$p(z^{(i)},x^{(i)})=p(z^{(i)})p(x^{(i)}|z^{(i)})$$
  可以理解为观测数据的产生也取决于隐变量，也就是当我们想要产生该数据时首先以一定的概率选择适合的高斯分布，之后在此分布下产生数据。

---

$$z^{(i)}\sim Multinomial(\varphi )$$
$$x^{(i)}|z^{(i)}\sim \mathbb{N}({\mu }_j,{\Sigma }_j)$$
怎么学习所有的参数${\varphi }_j,{\mu }_j,{\Sigma }_j?$

• 如果$z^{(i)}$是已知的：
  （监督学习）使用最大似然估计来学习参数，类比之前博客二次判别分析.
• 如果$z^{(i)}$是未知的：
  （无监督学习）使用最大期望算法。

---

2 最大期望算法（EM）

最大期望算法是一种迭代算法当模型中还有隐变量时,求最大似然估计的一种方法。
数据的最大似然估计：
$$l(\theta )=\sum _{i=1}^{m}logp(x;\theta )=\sum _{i=1}^{m}log\sum _{z}p(x,z;\theta )$$
我们可以如此理解上式，我们可以用X表示观测随机变量的数据，Z表示隐随机变量的数据。X和Z连在一起称为完全数据，观测数据X又称为不完全数据。假定给出观测数据X，其概率分布$P(X|\theta )$其中$\theta$是需要估计的模型参数，那么不完全数据X的似然函数是$P(X|\theta )$,对数似然函数是$L(\theta )=logP(X|\theta )$;假设X和Z的联合概率分布是$P(X,Z|\theta )$,那么完全数据对数似然函数是$logP(X,Z|\theta )$.

EM 算法通过迭代求$logP(X|\theta )$的极大似然估计，每次迭代分为两步：E步求期望，M步求极大值。

---

广义的EM算法：

• 初始化$\theta$
• 重复直到收敛{

E-Step:

对于每个$i$,使$Q_i(z^{(i)}):=p(z^{(i)}|x^{(i)};\theta )$

M-Step:

使$\theta :=argma{x}_{\theta }{\sum }_i{\sum }_{z^{(i)}}{Q}_i(z^{(i)})log\frac{p(x^i,z^{(i)};\theta )}{Q_i(z^{(i)})}(\ast )$
}
观察$(\ast )$式我们可以知道${\sum }_i{\sum }_{z^{(i)}}p(z^{(i)}|x^{(i)};\theta )log\frac{p(x^i,z^{(i)};\theta )}{p(z^{(i)}|x^{(i)};\theta )}$,而利用贝叶斯法则我们可以得到$log\frac{p(x^i,z^{(i)};\theta )}{p(z^{(i)}|x^{(i)};\theta )}=logp(x;\theta )$,所以$(\ast )={\sum }_i{\sum }_{z^{(i)}}p(z^{(i)}|x^{(i)};\theta )logp(x;\theta )$

---

为什么EM算法可以实现对观测数据的极大似然估计？(EM 算法的推导)

上式中的$(\ast )$等价于$argma{x}_{\theta }l(\theta )$,上式$(\ast )$是log似然函数$l(\theta )$的下界。且当$Q_i(z^{(i)})=p(z^{(i)}|x^{(i)};\theta )$时，取等。
定义：
$$J(Q,\theta )=\sum _i\sum _{z^{(i)}}{Q}_i(z^{(i)})log\frac{p(x^i,z^{(i)};\theta )}{Q_i(z^{(i)})}$$

---

首先介绍Jensen不等式(Jensen’s Inequality),如果$f$是凸函数，X是随机变量。于是我们可得：
$$E[f(x)]\ge f(E[x])$$

如果$f$是凹函数，则$E[f(x)]\le f(E[x])$;
$(\ast )=E[Q_{z^{(i)}}log\frac{p(x^i,z^{(i)};\theta )}{Q_i(z^{(i)})}]\le logE[Q_{z^{(i)}}\frac{p(x^i,z^{(i)};\theta )}{Q_i(z^{(i)})}]=log{\sum }_{z^{(i)}}{Q}_{z^{(i)}}\frac{p(x^i,z^{(i)};\theta )}{Q_i(z^{(i)})}=logp(x^{(i)};\theta )$
同样我们需要知道这样的关系：
$$l({\theta }^{(t)})\le l({\theta }^{(t+1)})$$
也就是说EM算法始终在增加似然函数的大小。
证明：
$Q_i(z^{(i)})=p(z^{(i)}|x^{(i)};\theta )$
$${\theta }^{(t+1)}=argma{x}_{\theta }\sum _i\sum _{z^{(i)}}{Q}_i^{(t)}(z^{(i)})log\frac{p(x^i,z^{(i)};{\theta }^{(t)})}{Q_i^{(t)}(z^{(i)})}$$
将$Q$代入，则可以得到：
$${\theta }^{(t+1)}=argma{x}_{\theta }\sum _i\sum _{z^{(i)}}p(z^{(i)}|x^{(i)};\theta )log\frac{p(x^i,z^{(i)};{\theta }^{(t)})}{p(z^{(i)}|x^{(i)};\theta )}$$
$$...=argma{x}_{\theta }\sum _i\sum _{z^{(i)}}p(z^{(i)}|x^{(i)};\theta )logp(x;\theta )=argma{x}_{\theta }J(\theta ;\theta )$$
所以我们可得:
$$J(Q;\theta )=l({\theta }^{(t)})\le J(Q;{\theta }^{(\theta +1)})\le l({\theta }^{(t+1)})$$
前一个等式成立是因为当 $Q_i(z^{(i)})=p(z^{(i)}|x^{(i)};\theta )$时，$J(Q;\theta )$是$l({\theta }^{(t)})$的下界且取等。之后取不等是因为函数取最大值。
所以EM算法是逐步增大函数的似然估计，使之取最大。

---

编者的话，个人觉得还是《统计学习方法》中说的明白，书中9.12通俗易懂的说明了EM算法的导出，方便理解，建议通读9.12学习。

---

算法的直观解释(Important)

EM算法可以通过下图解释，上方曲线是$l(\theta )$,下方曲线是$J(Q;\theta )$.我们可知$J$为$l$的下界曲线。两个函数在${\theta }^{(i)}$取等。之后通过求导取得关于J的极大值，得到参数${\theta }^{(i+1)}$，同时也使函数$Q$极大化。这时由于$l>J$函数$J$的增加保证$l$也是增加的，EM算法在${\theta }^{(i+1)}$重新计算函数$Q$的值，进行下一次的迭代。整个过程中我们可知EM算法不能保证找到全局最优值。

---

补充 1 (回到之前的高斯混合模型，利用EM算法估计参数)

高斯混合模型：
$$z^{(i)}\sim Multinomial(\varphi )$$
$$x^{(i)}|z^{(i)}\sim \mathbb{N}({\mu }_j,{\Sigma }_j)$$
学习参数：$\mu ,\Sigma ,\varphi$

E-Step:

$$w_j^{(i)}=Q_i(z^{(i)}=j)=p(z^{(i)}=j|x^{(i)};\varphi ,\mu ,\Sigma )$$

M-Step:

$$Maximize\sum _{i=1}^m\sum _{z^{(i)}}{Q}_i(z^{(i)})log\frac{p(x^i,z^{(i)};\mu ,\Sigma ,\varphi )}{Q_i(z^{(i)})}$$
完整描述：