机器学习—高斯混合模型

为了解决高斯模型的单峰性的问题，我们引入多个高斯模型的加权平均来拟合多峰数据：
$$p(x)=\sum _{k=1}^K{\alpha }_k\mathcal{N}({\mu }_k,{\Sigma }_k)$$
引入隐变量z，这个变量表示对应的样本x属于一个高斯分布，这个变量时一个离散的随机变量：
$$p(z=i)=p_i,\sum _{i=1}^{k}p(z=i)=1$$
作为一个生成式模型，高斯混合模型通过隐变量z的分布来生成样本。用概率图来表示：

其中，节点z就是上面的概率，x就是生成的高斯分布。于是对$p(x)$:
$$p(x)=\sum _{z}p(x,z)=\sum _{k=1}^{K}p(x,z=k)=\sum _{k=1}^{K}p(z=k)p(x|z=k)$$
因此：
$$p(x)=\sum _{k=1}^K{p}_k\mathcal{N}(x|{\mu }_k,{\Sigma }_k)$$

极大似然估计

样本为$X=(x_1,x_2,...,x_N)$, $(X,Z)$为完全参数，参数为$\theta =p_1,p_2,...,p_k,{\mu }_1,{\mu }_2,...,{\mu }_k,{\Sigma }_1,{\Sigma }_2,...,{\Sigma }_k$.我们通过极大似然估计得到$\theta$的值：
$$\begin{gathered} {\theta }_{MLE}=argma{x}_{\theta }logp(X)=argma{x}_{\theta }\sum _{i=1}^{N}logp(x_i) \\ =argma{x}_{\theta }\sum _{i=1}^{N}log\sum _{k=1}^K{p}_k\mathcal{N}(x_i|{\mu }_k,{\Sigma }_k) \end{gathered}$$
这个表达式直接通过求导，由于连加号的存在，无法得到解析解。因此需要使用EM算法。

EM求解GMM

EM算法的基本表达式为：${\theta }^{t+1}=\underset{\theta }{\mathrm{argmax}}{\mathbb{E}}_{z|x,{\theta }_t}[p(x,z|\theta )]$。套用GMM的表达式，对数据集来说：
$$\begin{gathered} Q(\theta ,{\theta }^t)=\sum _z[\log \prod _{i=1}^{N}p(x_i,z_i|\theta )]\prod _{i=1}^{N}p(z_i|x_i,{\theta }^t) \\ =\sum _z[\sum _{i=1}^N\log p(x_i,z_i|\theta )]\prod _{i=1}^{N}p(z_i|x_i,{\theta }^t) \end{gathered}$$
对于中间的那个求和号，展开，第一项为：
$$\begin{gathered} \sum _z\log p(x_1,z_1|\theta )\prod _{i=1}^{N}p(z_i|x_i,{\theta }^t)=\sum _z\log p(x_1,z_1|\theta )p(z_1|x_1,{\theta }^t)\prod _{i=2}^{N}p(z_i|x_i,{\theta }^t) \\ =\sum _{z_1}\log p(x_1,z_1|\theta )p(z_1|x_1,{\theta }^t)\sum _{z_2,\cdots ,z_K}\prod _{i=2}^{N}p(z_i|x_i,{\theta }^t) \\ =\sum _{z_1}\log p(x_1,z_1|\theta )p(z_1|x_1,{\theta }^t) \end{gathered}$$
类似地，Q可以写为：
$$Q(\theta ,{\theta }^t)=\sum _{i=1}^N\sum _{z_i}\log p(x_i,z_i|\theta )p(z_i|x_i,{\theta }^t)$$
对于$p(x,z|\theta )$:
$$p(x,z|\theta )=p(z|\theta )p(x|z,\theta )=p_z\mathcal{N}(x|{\mu }_z,{\Sigma }_z)$$
代入$Q$:
$$Q=\sum _{i=1}^N\sum _{z_i}\log p_{z_i}\mathcal{N}(x_i|{\mu }_{z_i},{\Sigma }_{z_i})\frac{p_{z_i}^t\mathcal{N}(x_i|{\mu }_{z_i}^t,{\Sigma }_{z_i}^t)}{\sum _k{p}_k^t\mathcal{N}(x_i|{\mu }_k^t,{\Sigma }_k^t)}$$
下面需要对Q值求最大值：
$$Q=\sum _{k=1}^K\sum _{i=1}^N[\log p_k+\log \mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)]p(z_i=k|x_i,{\theta }^t)$$

1. $p_k^{t+1}$:
   $$p_k^{t+1}={\mathrm{argmax}}_{p_k}\sum _{k=1}^K\sum _{i=1}^N[\log p_k+\log \mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)]p(z_i=k|x_i,{\theta }^t)s.t.\sum _{k=1}^K{p}_k=1$$
   即：
   $$p_k^{t+1}={\mathrm{argmax}}_{p_k}\sum _{k=1}^K\sum _{i=1}^N\log p_{k}p(z_i=k|x_i,{\theta }^t)s.t.\sum _{k=1}^K{p}_k=1$$
   引入Lagrange乘子：
   $L(p_k,\lambda )=\sum _{k=1}^K\sum _{i=1}^N\log p_{k}p(z_i=k|x_i,{\theta }^t)-\lambda (1-\sum _{k=1}^K{p}_k)$。所以：
   $$\begin{gathered} \frac{\partial }{\partial p_k}L=\sum _{i=1}^N\frac{1}{p_k}p(z_i=k|x_i,{\theta }^t)+\lambda =0 \\ \Rightarrow \sum _k\sum _{i=1}^N\frac{1}{p_k}p(z_i=k|x_i,{\theta }^t)+\lambda \sum _k{p}_k=0 \\ \Rightarrow \lambda =-N \end{gathered}$$
   于是有：
   $$p_k^{t+1}=\frac{1}{N}\sum _{i=1}^{N}p(z_i=k|x_i,{\theta }^t)$$
2. ${\mu }_k,{\Sigma }_k$，这两个参数是无约束的，直接求导即可。