机器学习算法笔记：GMM高斯混合模型

高斯混合模型

为了解决高斯模型的单峰性的问题，引入多个高斯模型的加权平均来拟合多峰数据：
$$p(x)=\sum _{k=1}^K{\alpha }_k\mathcal{N}({\mu }_k,{\Sigma }_k)$$

引入隐变量 $z$，表示对应样本 $x$ 属于哪一个高斯分布，该变量为离散随机变量：

Z	$C_1$	$C_2$	$\cdots$	$C_K$
P	$p_1$	$p_2$		$p_K$

$$p(z=i)=p_i,\sum _{i=1}^{K}p(z=i)=1$$

高斯混合模型是生成式模型，通过隐变量 $z$ 的分布来生成样本，概率图表示如下：

$x$ 就是 $z$ 生成的高斯分布样本，样本$(x_1,z_1)$$(x_2,z_2)$$\cdots$$(x_K,z_K)$相互独立的，对于 $p(X)$： $$p(X)=\sum _{z}p(X,z)=\sum _{k=1}^{K}p(X,z=k)=\sum _{k=1}^{K}p(z=k)p(X|z=k)$$ 因此： $$p(X)=\sum _{k=1}^K{p}_k\mathcal{N}(X|{\mu }_k,{\Sigma }_k)$$

极大似然估计

观测样本： $X=(x_1,x_2,\cdots ,x_N)$
模型参数： θ = { p 1 , p 2 , ⋯   , p K , μ 1 , μ 2 , ⋯   , μ K , Σ 1 , Σ 2 , ⋯   , Σ K } \theta=\{p_1,p_2,\cdots,p_K,\mu_1,\mu_2,\cdots,\mu_K,\Sigma_1,\Sigma_2,\cdots,\Sigma_K\} θ={p1​,p2​,⋯,pK​,μ1​,μ2​,⋯,μK​,Σ1​,Σ2​,⋯,ΣK​}

完全样本应该是：$(X,Z)$ ，用极大似然估计参数 $\theta$ ：
$$\begin{array}{rl}{\theta }_{MLE}& =\underset{\theta }{\mathrm{argmax}}\log p(X)=\underset{\theta }{\mathrm{argmax}}\log \underset{\text{样本相互独立}}{\underbrace{\prod _{i=1}^{N}p(x_i)}}\\ & =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^N\log p(x_i)\\ & =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^N\log \sum _{k=1}^K{p}_k\mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)\end{array}$$

上式无法直接通过求导得到解析解，可以使用 EM 算法进行迭代求解。

EM 求解 GMM

EM 算法的迭代公式为：$${\theta }^{t+1}=\underset{\theta }{\mathrm{argmax}}\underset{Q(\theta ,{\theta }^t)}{\underbrace{{\mathbb{E}}_{z|x,{\theta }_t}[p(x,z|\theta )]}}$$

将 GMM 表达式代入得到 ：
$$\begin{array}{rl}Q(\theta ,{\theta }^t)& =\sum _z[\log \prod _{i=1}^{N}p(x_i,z_i|\theta )]\prod _{i=1}^{N}p(z_i|x_i,{\theta }^t)\\ & =\sum _z[\sum _{i=1}^N\log p(x_i,z_i|\theta )]\prod _{i=1}^{N}p(z_i|x_i,{\theta }^t)\\ & =\sum _z\underset{\sum _{i=1}^N\log p(x_i,z_i|\theta )}{\underbrace{[\log p(x_1,z_1|\theta )+\cdots +\log p(x_N,z_N|\theta )]}}\prod _{i=1}^{N}p(z_i|x_i,{\theta }^t)\end{array}$$

将上式第二个求和符号展开，并取出第一项观察其规律：
$$\begin{array}{rl}& \sum _z\log p(x_1,z_1|\theta )\prod _{i=1}^{N}p(z_i|x_i,{\theta }^t)\\ & =\sum _z\log p(x_1,z_1|\theta )p(z_1|x_1,{\theta }^t)\prod _{i=2}^{N}p(z_i|x_i,{\theta }^t)\\ & =\sum _{z_1}\log p(x_1,z_1|\theta )p(z_1|x_1,{\theta }^t)\sum _{z_2,\cdots ,z_N}\prod _{i=2}^{N}p(z_i|x_i,{\theta }^t)\\ & =\sum _{z_1}\log p(x_1,z_1|\theta )p(z_1|x_1,{\theta }^t)\underset{1}{\underbrace{\sum _{z_2}p(z_2|x_2,{\theta }^t)}}\cdots \underset{1}{\underbrace{\sum _{z_N}p(z_N|x_N,{\theta }^t)}}\\ & =\sum _{z_1}\log p(x_1,z_1|\theta )p(z_1|x_1,{\theta }^t)\end{array}$$

则 $Q$ 可以写成以下形式：
$$Q(\theta ,{\theta }^t)=\sum _{i=1}^N\sum _{z_i}\log p(x_i,z_i|\theta )p(z_i|x_i,{\theta }^t)$$

其中 $p(x,z|\theta )$：
$$p(x,z|\theta )=p(z|\theta )p(x|z,\theta )=p_z\mathcal{N}(x|{\mu }_z,{\Sigma }_z)$$

其中 $p(z|x,{\theta }^t)$：
$$p(z|x,{\theta }^t)=\frac{p(x,z|{\theta }^t)}{p(x|{\theta }^t)}=\frac{p_z^t\mathcal{N}(x|{\mu }_z^t,{\Sigma }_z^t)}{\sum _k{p}_k^t\mathcal{N}(x|{\mu }_k^t,{\Sigma }_k^t)}$$

$E-step$ 求期望 ${\mathbb{E}}_{z|x,{\theta }_t}$，$p(z|x,{\theta }^t)$ 是上一次迭代的结果。将上式代入 $Q$ 中得到：
$$Q=\sum _{i=1}^N\sum _{z_i}\log p_{z_i}\mathcal{N}(x_i|{\mu }_{z_i},{\Sigma }_{z_i})\underset{\text{第t步中确定的常数项}}{\underbrace{\frac{p_{z_i}^t\mathcal{N}(x_i|{\mu }_{z_i}^t,{\Sigma }_{z_i}^t)}{\sum _k{p}_k^t\mathcal{N}(x_i|{\mu }_k^t,{\Sigma }_k^t)}}}$$

$M-step$ 最大化 $Q$ 求模型参数 ${\mu }_k^{t+1},{\Sigma }_k^{t+1},p_k^{t+1}$：

$$\begin{array}{rl}Q& =\sum _{i=1}^N\sum _{z_i}\log p_{z_i}\mathcal{N}(x_i|{\mu }_{z_i},{\Sigma }_{z_i})p(z_i|x_i,{\theta }^t)\\ & =\sum _{z_i}\sum _{i=1}^N\log p_{z_i}\mathcal{N}(x_i|{\mu }_{z_i},{\Sigma }_{z_i})p(z_i|x_i,{\theta }^t)\\ & =\sum _{k=1}^K\sum _{i=1}^N[\log p_k+\log \mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)]p(z_i=C_k|x_i,{\theta }^t)\end{array}$$

先求参数 $\boxed{p_k^{t+1}}$，取出式中 $p_k$ 相关项：
$$\{\begin{array}{rl}& p_k^{t+1}=\underset{p_k}{\mathrm{argmax}}\sum _{k=1}^K\sum _{i=1}^N\log p_{k}p(z_i=C_k|x_i,{\theta }^t)\\ & s.t.\sum _{k=1}^K{p}_k=1\end{array}$$

引入 Lagrange 乘子：
$$\begin{array}{r}L(p_k,\lambda )=\sum _{k=1}^K\sum _{i=1}^N\log p_{k}p(z_i=C_k|x_i,{\theta }^t)-\lambda (1-\sum _{k=1}^K{p}_k)\end{array}$$

所以：
$$\begin{array}{rl}& \frac{\partial }{\partial p_k}L=\sum _{i=1}^N\frac{1}{p_k}p(z_i=C_k|x_i,{\theta }^t)+\lambda =0\\ & ⟹\sum _k\sum _{i=1}^N\frac{1}{p_k}p(z_i=C_k|x_i,{\theta }^t)+\lambda \sum _k{p}_k=0\\ & ⟹\lambda =-N\end{array}$$

于是有：
$$p_k^{t+1}=\frac{1}{N}\sum _{i=1}^{N}p(z_i=C_k|x_i,{\theta }^t)$$

参数 ${\mu }_k^{t+1},{\Sigma }_k^{t+1}$ 是无约束的，直接求偏导即可。

参考文献

【1】高斯混合模型
【2】手把手教你实现一个高斯混合模型
【3】详解EM算法与混合高斯模型(Gaussian mixture model, GMM)