GMM聚类算法（公式证明分析）

高斯分布

$$p(x|\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$

d维多元高斯分布
$$p(x|\mu ,\sum )=\frac{1}{{2\pi }^{\frac{d}{2}}|\sum {|}^{\frac{1}{2}}}exp(-\frac{1}{2}\frac{(x-\mu )}{\sum (x-\mu )})$$

对d维做极大似然估计：

给定数据$$D=x_1,...,x_N$$似然是$$p(D|\mu ,\sum )=\prod _{n=1}^{N}p(x_n|\mu ,\sum )$$

MLE 估计：
$$({\mu }_{ML},\sum ML)=\underset{\mu ,\sum }{\mathrm{argmax}}logp(D|\mu ,\sum )$$,
$${\mu }_{ML}=\frac{1}{N}\sum _{n=1}^N{x}_n$$
$$(\sum ML{)}^2=\frac{1}{N}\sum _{n=1}^N(x_n-{\mu }_{ML})(x_n-{\mu }_{ML}{)}^T$$

为什么使用高斯分布

如何p(x,y)联合分布是高斯分布，那么p(x)是高斯分布，同样p(y)也是高斯分布。

混合高斯分布

单个高斯分布只有一个mode，单个高斯分布不能模拟多个mode的数据。
使用多个高斯分布，就可以对数据进行聚类。

单峰的高斯分布作为basis 分布，多个高斯分布使用线性叠加(这种思路类似boost的想法)，即混合高斯。
$$p(x)=\sum _{k=1}^K{\pi }_k\mathbb{N}(x|{\mu }_k,{\sigma }_k^2)$$
对${\pi }_k$有约束，$\sum {\pi }_k=1$。

学习混合高斯分布

Log -likehood

log似然：
$$\pounds (\mu ,\sum )=logp(D|\pi ,\mu ,\sum )=\sum _{n=1}^{N}log(\sum _{k=1}^K{\pi }_k\mathbb{N}(x|{\mu }_k,\sum _k)$$

但是MLE是复杂的，对于单个高斯分布，MLE是简单的。

简单的分析:

• $\frac{\partial \pounds }{\partial {\mu }_k}=0$得到
  $$\sum _{n=1}^N=\frac{{\pi }_k\mathbb{N}(x_n|{\mu }_k,{\sum }_k)}{{\sum }_j{\pi }_j\mathbb{N}(x_n|{\mu }_k,{\sum }_k)}(\sum _k(x_n-{\mu }_k){)}^{-1}$$

另$\gamma (z_{nk})=\frac{{\pi }_k\mathbb{N}(x_n|{\mu }_k,{\sum }_k)}{{\sum }_j{\pi }_j\mathbb{N}(x_n|{\mu }_k,{\sum }_k)}$

则 ${\mu }_k=\frac{1}{N_k}{\sum }_{n=1}^N\gamma (z_{nk})x_n$,

$N_k={\sum }_{n=1}^N\gamma (z_{nk})$ ,$N_k$是所有数据拟合到k分布上面的权重和。

这里的${\mu }_k$也是$\frac{1}{N_k}$求均。

• $\frac{\partial \pounds }{\partial {\sum }_k}=0$得到

${\sum }_k=\frac{1}{N_k}{\sum }_{n=1}^N\gamma (z_{nk})(x_n-{\mu }_k)(x_n-{\mu }_k{)}^T$

• 令$\frac{\partial L}{\partial {\pi }_k}=0$

由于对${\pi }_k$有约束，$\sum {\pi }_k=1$，使用拉格朗日求${\pi }_k$
$$L=\pounds (\mu ,\sum )+\lambda (\sum _{k=1}^K{\pi }_k-1)$$

$$\sum _{n=1}^N\frac{\mathbb{N}(x_n|{\mu }_k,{\sum }_k)}{{\sum }_j{\pi }_j\mathbb{N}(x_n|{\mu }_k,{\sum }_k)}+\lambda =0$$

$${\pi }_k=\frac{N_k}{N}$$

综上结果

${\pi }_k=\frac{N_k}{N}$
${\mu }_k=\frac{1}{N_k}{\sum }_{n=1}^N\gamma (z_{nk})x_n$
${\sum }_k=\frac{1}{N_k}{\sum }_{n=1}^N\gamma (z_{nk})(x_n-{\mu }_k)(x_n-{\mu }_k{)}^T$

$\gamma (z_{nk})=\frac{{\pi }_k\mathbb{N}(x_n|{\mu }_k,{\sum }_k)}{{\sum }_j{\pi }_j\mathbb{N}(x_n|{\mu }_k,{\sum }_k)}$

关键是求，但是 $\gamma (z_{nk})$ 是未知的。

EM算法引入

解决上面鸡生蛋，蛋生鸡的$\gamma (z_{nk})$求解。
E-step

$\gamma (z_{nk})=\frac{{\pi }_k\mathbb{N}(x_n|{\mu }_k,{\sum }_k)}{{\sum }_j{\pi }_j\mathbb{N}(x_n|{\mu }_k,{\sum }_k)}$, $\gamma$实际上是后验分布，假设第n个样本拟合到k分布上面 $p(z_{nk}=1|x_n,\mu ,\sum )$。

M-step

${\pi }_k=\frac{N_k}{N}$
${\mu }_k=\frac{1}{N_k}{\sum }_{n=1}^N\gamma (z_{nk})x_n$
${\sum }_k=\frac{1}{N_k}{\sum }_{n=1}^N\gamma (z_{nk})(x_n-{\mu }_k)(x_n-{\mu }_k{)}^T$
不断的迭代E步和M步进行计算，这里初始点的选取会影响混合高斯聚类的结果。

理解高斯分布

对于$p(x)={\sum }_{k=1}^K{\pi }_k\mathbb{N}(x|{\mu }_k,{\sum }_k)$引入选择变量z
$$z=\left(\begin{array}{c}0\\ 1\\ 0\end{array}\right)$$

$p(x,z)={\sum }_{k=1}^K{\pi }_k^{z_k}\mathbb{N}(x|{\mu }_k,{\sum }_k{)}^{z_k}$

• 重新定义log-likehood
  $logp(D|\Theta )={\sum }_{n=1}^{N}log({\sum }_{z_n}p(x_n,z_n))$

这里的$log\sum$是很难求导的，所以我们使用Jensen不等式近似
$log\frac{x_1+x_2}{2}\ge \frac{log{x}_1+log{x}_2}{2}$ 或者使用期望的表示方法 $log{E}_{p(x)}[x]\ge E_{p(x)}[logx]$
引入$q(z_n)$(在机器学习里面称为 Evidence lower bound):
$$logp(D|\Theta )=\sum _{n=1}^{N}log(\sum _{z_n}q(z_n)\frac{p(x_n,z_n)}{q(z_n)})\ge \sum _{n=1}^N\sum _{z_n}q(z_n)log(\frac{p(x_n,z_n)}{q(z_n)})\cong \pounds (\theta ,q(Z))$$
q 一般意义上称为变分分布（变分的方法）。
但是lower bound 是可紧可松的，如何约定GAP
$$\begin{gathered} \pounds (\theta ,q(Z))=\sum _{n=1}^N\left\{\sum _{z_n}q(z_n)logp(x_n,z_n)-\sum _{z_n}q(z_n)logq(z_n)\right\} \\ =\sum _{n=1}^N\left\{\sum _{z_n}q(z_n)log(\frac{p(x_n,z_n)}{p(x_n)})+logp(x_n)-\sum _{z_n}q(z_n)logq(z_n)\right\} \\ =logp(D|\theta )+\sum _{n=1}^N\left\{\sum _{z_n}q(z_n)logp(z_n|x_n)-\sum _{z_n}q(z_n)logq(z_n)\right\} \\ =logp(D|\theta )-KL(q(Z)||p(Z|D)) \end{gathered}$$
上式中 $logp(D|\theta )={\sum }_{n=1}^{N}logp(x_n)$

所以lower bound的GAP是一个KL散度。
$\pounds (\theta ,q(Z))$ 与$logp(D|\theta )$之间的GAP是KL散度，
$$logp(D|\theta )-\pounds (\theta ,q(Z))=KL(q(Z)||p(Z|D))$$
要使得GAP最小，则$KL(q(Z)||p(Z|D))=0$

• EM算法
  最大化lower bound或者最小化GAP

E 步：
Maximize over q(Z) -> $\frac{\partial \pounds }{\partial q}=0$
其中 $q(z_n)=p(z_n|xn)$等价与前面的$\gamma (z_{nk})$

M 步：
Maximize over $\theta$ -> $\frac{\partial \pounds }{\partial \theta }=0$