两种角度来看高斯混合模型（GMM）

前言

我在文章中看到GMM之后一带而过，后来发现自己感觉懂其实不太懂，能讲明白才是懂了对吧，今天补坑，本文是一篇听课笔记，课程来自B站：shuhuai008
课程短小，思路清楚，如果连这一点点都挤不出来又想学习的话，可以看我的笔记，会尽量一直更下去的。

一、Gaussian Mixture Model介绍

从两个角度来看高斯模型：

• 几何角度：高斯混合模型可以看成是多个高斯模型的混合
  （跟绕口令一样~~）$$p(x)=\sum _{k=1}^K{\alpha }_{k}N({\mu }_k,{\sigma }_k),\sum _{k=1}^K{\alpha }_k=1$$
  

• 从混合模型的角度来看，GMM是一个生成模型
  下图是二维数据的例子
  

设$x$是观察变量，我们引入潜在变量$z$，$z$表示$x$ 所属的分布，（$z$可能是$c_1$也可能是$c_2$，比如图中的红色样本，它服从$z$这个分布，那么$z$很可能是$c_2$，也有小概率是$c_1$），所以$z$本身也是一个离散型随机变量，它服从如下分布

	$c_1{c}_2{c}_3...c_k$
$z$	$123...k$
$P(z)$	$p_1{p}_2{p}_3...p_k$

生成过程就像是在掷骰子，骰子每一面朝上的概率是不均等的，这个概率就是$p_k$，当我们掷出骰子，就知道了哪个$p_k$最大, 也就知道了$x$最有可能所属的分布，我们在该分布采样，样本$x$就被生成出来了。