机器学习系列：高斯混合模型(GMM)

1. Introduction

为了解决高斯模型的单峰性的问题，我们引入多个高斯模型的加权平均来拟合多峰数据：
$$p(x)=\sum _{k=1}^K{\alpha }_k\mathcal{N}({\mu }_k,{\Sigma }_k)$$ 引入隐变量 $z$，这个变量表示对应的样本 $x$ 属于哪一个高斯分布，这个变量是一个离散的随机变量： $$\begin{gathered} p(z=i)=p_i \\ \sum _{i=1}^{k}p(z=i)=1 \end{gathered}$$ 作为一个生成式模型，高斯混合模型通过隐变量 $z$ 的分布来生成样本。用概率图来表示：

其中，节点 $z$ 就是上面的概率，$x$ 就是生成的高斯分布。于是对 $p(x)$： $$p(x)=\sum _{z}p(x,z)=\sum _{k=1}^{K}p(x,z=k)=\sum _{k=1}^{K}p(z=k)p(x|z=k)$$ 因此： $$p(x)=\sum _{k=1}^K{p}_k\mathcal{N}(x|{\mu }_k,{\Sigma }_k)$$

2.极大似然估计

样本为 $X=(x_1,x_2,\cdots ,x_N)$，$(X,Z)$ 为完全参数，参数为 $\theta =p_1,p_2,\cdots ,p_K,{\mu }_1,{\mu }_2,\cdots ,{\mu }_K{\Sigma }_1,{\Sigma }_2,\cdots ,{\Sigma }_K$。我们通过极大似然估计得到 $\theta$ 的值： $$\begin{array}{rl}{\theta }_{MLE}& =\underset{\theta }{\mathrm{argmax}}\log p(X)=\mathrm{argmax}\theta \sum _{i=1}^N\log p(x_i)\\ & =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^N\log \sum _{k=1}^K{p}_k\mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)\end{array}$$ 这个表达式直接通过求导，由于连加号的存在，无法得到解析解。因此需要使用 EM 算法。

3. EM求解GMM

EM 算法的基本表达式为：${\theta }^{t+1}=\underset{\theta }{\mathrm{argmax}}{\mathbb{E}}_{z|x,{\theta }_t}[p(x,z|\theta )]$。套用 GMM 的表达式，对数据集来说： $$\begin{array}{rl}Q(\theta ,{\theta }^t)& =\sum _z[\log \prod _{i=1}^{N}p(x_i,z_i|\theta )]\prod _{i=1}^{N}p(z_i|x_i,{\theta }^t)\\ & =\sum _z[\sum _{i=1}^N\log p(x_i,z_i|\theta )]\prod _{i=1}^{N}p(z_i|x_i,{\theta }^t)\end{array}$$ 对于中间的那个求和号，展开，第一项为： $$\begin{array}{rl}\sum _z\log p(x_1,z_1|\theta )\prod _{i=1}^{N}p(z_i|x_i,{\theta }^t)& =\sum _z\log p(x_1,z_1|\theta )p(z_1|x_1,{\theta }^t)\prod _{i=2}^{N}p(z_i|x_i,{\theta }^t)\\ & =\sum _{z_1}\log p(x_1,z_1|\theta )p(z_1|x_1,{\theta }^t)\sum _{z_2,\cdots ,z_K}\prod _{i=2}^{N}p(z_i|x_i,{\theta }^t)\\ & =\sum _{z_1}\log p(x_1,z_1|\theta )p(z_1|x_1,{\theta }^t)\end{array}$$ 类似地，$Q$ 可以写为： $$Q(\theta ,{\theta }^t)=\sum _{i=1}^N\sum _{z_i}\log p(x_i,z_i|\theta )p(z_i|x_i,{\theta }^t)$$ 对于 $p(x,z|\theta )$： $$p(x,z|\theta )=p(z|\theta )p(x|z,\theta )=p_z\mathcal{N}(x|{\mu }_z,{\Sigma }_z)$$ 对 $p(z|x,{\theta }^t)$： $$p(z|x,{\theta }^t)=\frac{p(x,z|{\theta }^t)}{p(x|{\theta }^t)}=\frac{p_z^t\mathcal{N}(x|{\mu }_z^t,{\Sigma }_z^t)}{\sum _k{p}_k^t\mathcal{N}(x|{\mu }_k^t,{\Sigma }_k^t)}$$ 代入 $Q$： $$Q=\sum _{i=1}^N\sum _{z_i}\log p_{z_i}\mathcal{N}(x_i|{\mu }_{z_i},{\Sigma }_{z_i})\frac{p_{z_i}^t\mathcal{N}(x_i|{\mu }_{z_i}^t,{\Sigma }_{z_i}^t)}{\sum _k{p}_k^t\mathcal{N}(x_i|{\mu }_k^t,{\Sigma }_k^t)}$$ 下面需要对 $Q$ 值求最大值： $$Q=\sum _{k=1}^K\sum _{i=1}^N[\log p_k+\log \mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)]p(z_i=k|x_i,{\theta }^t)$$

1. $p_k^{t+1}$：
   $$\begin{gathered} p_k^{t+1}=\underset{p_k}{\mathrm{argmax}}\sum _{k=1}^K\sum _{i=1}^N[\log p_k+\log \mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)]p(z_i=k|x_i,{\theta }^t) \\ s.t.\sum _{k=1}^K{p}_k=1 \end{gathered}$$ 即： $$\begin{gathered} p_k^{t+1}=\underset{p_k}{\mathrm{argmax}}\sum _{k=1}^K\sum _{i=1}^N\log p_{k}p(z_i=k|x_i,{\theta }^t) \\ s.t.\sum _{k=1}^K{p}_k=1 \end{gathered}$$ 引入 Lagrange 乘子：$L(p_k,\lambda )=\sum _{k=1}^K\sum _{i=1}^N\log p_{k}p(z_i=k|x_i,{\theta }^t)-\lambda (1-\sum _{k=1}^K{p}_k)$。所以： $$\begin{gathered} \frac{\partial }{\partial p_k}L=\sum _{i=1}^N\frac{1}{p_k}p(z_i=k|x_i,{\theta }^t)+\lambda =0\Rightarrow \sum _k\sum _{i=1}^N\frac{1}{p_k}p(z_i=k|x_i,{\theta }^t)+\lambda \sum _k{p}_k=0 \\ \Rightarrow \lambda =-N \end{gathered}$$

于是有： $$p_k^{t+1}=\frac{1}{N}\sum _{i=1}^{N}p(z_i=k|x_i,{\theta }^t)$$

2. ${\mu }_k,{\Sigma }_k$，这两个参数是无约束的，直接求导即可。