GMM高斯混合模型

---

前言

阅读背景差分算法相关文献碰到了这个模型，比较生疏，故此学习。

---

一、模型介绍

如图所示，横轴上的数据集的密度函数可以视为两个高斯分布的叠加。
从几何角度看，可以将其视为多个高斯分布叠加的加权平均。
$$p(x)=\sum _{k=1}^K{\alpha }_{k}N(x|{\mu }_k,{\sum }_k),\sum _{k=1}^K{\alpha }_k=1$$
从混合模型（生成模型）角度来看，x(observed variable)，z(latent variable->对应的样本x属于哪一个高斯分布->离散随机变量)

如下表所示

z	$c_1$	$c_2$	…	$c_k$
p(x)	$p_1$	$p_2$	…	$p_k$

概率图表示：

其中p={$p_1,p_2,...,p_k$}

二、极大似然

将p(x)分解：
$$\begin{gathered} p(x)=\sum _{z}p(x,z) \\ =\sum _{k=1}^{K}p(x,z=c_k) \\ =\sum _{k=1}^{K}p(z=c_k)\cdot p(x|z=c_k) \\ =\sum _{k=1}^K{p}_k\cdot N(x|{\mu }_k,{\sum }_k) \end{gathered}$$

一些参数：
X：observed data->X=($x_1,x_2,...,x_N$)

(X,Z)：complete data

$\theta$：parameter-> θ = { p 1 , p 2 , . . . , p k , μ 1 , μ 2 , . . . , μ k , ∑ 1 , ∑ 2 , . . . , ∑ k } \theta=\{p_1,p_2,...,p_k,\mu_1,\mu_2,...,\mu_k,{\sum}_1,{\sum}_2,...,{\sum}_k \} θ={p1​,p2​,...,pk​,μ1​,μ2​,...,μk​,∑1​,∑2​,...,∑k​}

$$\begin{gathered} \hat{\theta }=arg{max}_{\theta }\log (p(x)) \\ =arg{max}_{\theta }\log ({\prod }_{i=1}^{N}p(x)) \\ =arg{max}_{\theta }{\sum }_{i=1}^N\log (p(x)) \\ =arg{max}_{\theta }{\sum }_{i=1}^N\log ({\sum }_{k=1}^K{p}_k\sim N(x|{\mu }_k,{\sum }_k)) \end{gathered}$$

三、EM求解

EM公式：${\theta }^{t+1}=argmax{E}_{z|x,{\theta }^t}[\log p(x,z|\theta )]$

E-step
可简写为Q函数：$Q(\theta ,{\theta }^t)$
$$\begin{gathered} Q(\theta ,{\theta }^t)={\int }_z\log p(x,z|\theta )\cdot p(z|x,{\theta }^t)dz \\ =\sum _{i=1}^N\sum _{z_i}\log p(x_i,z_i|{\theta }_i)\cdot p(z_i|x_i,{\theta }^t) \\ =\sum _{i=1}^N\sum _{z_i}\log [p_{z_i}\cdot N(x_i|{\mu }_{z_i},{\sum }_{z_i})]\cdot \frac{p_{z_i}\cdot N(x_i|{\mu }_{z_i}^t,{\sum }_{z_i}^t)}{{\sum }_{k=1}^K{p}_k^t\cdot N(x_i|{\mu }_{z_i}^t,{\sum }_{z_i}^t)} \end{gathered}$$

推导过程：

M-step:
$${\theta }^{t+1}=argma{x}_{\theta }Q(\theta ,{\theta }^t)$$
求$p_k^{t+1}=argma{x}_{p_k}{\sum }_{k=1}^K{\sum }_{i=1}^N\log p_k\cdot p(z_i=c_k|x_i,{\theta }^t),s.t.{\sum }_{k=1}^K{p}_k=1$

拉格朗日乘数法：

其他参数同理