（简单易懂）Gaussian Mixed Model 高斯混合模型

Gaussian Mixed Model 高斯混合模型

1.高斯分布

Figure 1:高斯分布

​ 高斯分布（正态分布）是统计学常见的分布之一，它在自然界以及社会科学中被广泛使用。高斯分布是连续型的概率分布，其分布曲线呈现对称状。它具有很多重要的性质，其中最重要的是中心极限定理，它表明许多独立随机变量的均值将近似地服从高斯分布，即使这些变量本身不服从高斯分布。

​ 对于一维数据 $x$，高斯分布的概率密度函数如Fig. 1：
$$P(x|\theta )=\mathcal{N}(x;\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})\text{\hspace{1em}(1)}$$
​ 对于多维数据 $x\in {\mathbb{R}}^D$ ，高斯分布的概率密度函数如下：
$$P(x|\theta )=\frac{1}{(2\pi {)}^{\frac{D}{2}}|\Sigma {|}^{\frac{1}{2}}}exp(-\frac{(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}{2})\text{\hspace{1em}(2)}$$
其中，$\theta$ 表示参数 $\mu$（均值）、$\sigma$（标准差）等参数，$\Sigma$ 代表协方差。

2.高斯混合分布

Figure 2:高斯混合分布

​ 如Fig. 2，高斯混合分布可以直观的理解为K个高斯分布混合得到的一种分布，且每个高斯分布被称为一个“分量”。每个分量由其自身的均值和协方差参数化。高斯混合模型的意义在于它能够灵活地拟合各种类型的数据分布，因为它可以由多个高斯分布组合而成。作为生成式模型，高斯混合模型可以拟合数据的分布，也可以根据分布生成新样本。这使得它在处理复杂的数据集时具有较好的表现。高斯混合模型也可以用于聚类任务，其中每个分量可以被视为一个聚类中心。

​ 高斯混合分布的概率密度函数如下：
$$p(x)=\sum _{i=1}^K{\pi }_i\mathcal{N}(x\mid {\pi }_i,{\Sigma }_i)\text{\hspace{1em}(3)}$$
其中，$K$ 代表高斯分量的数量，${\mu }_i,{\Sigma }_i$ 代表每一个高斯分量的均值与协方差，${\pi }_i$ 代表每一个高斯分量的权重系数，且满足 ${\sum }_{i=1}^K{\pi }_i=1$ 。

​ 高斯混合分布根据权重进行抽样，通常是根据各个高斯分量的权重来确定选择哪个分量作为抽样数据的分布。权重越大的高斯分量被选择的概率越高，这确保样本更有可能来自于权重较大的高斯分量，从而符合整体混合模型的分布特点。

3.模型参数学习

​ 确定一个高斯混合分布，即确定分布所需的参数（均值，方差，权重系数等），那么如何获取所需参数是得到确切分布的关键性问题。我们通过数量为 $N$ 的可观测样本 $x$ 来估计的 $K$ 个分量的高斯混合模型的参数：$\pi$、$\mu ,\Sigma \to \theta$ ，在确定了模型参数后，我们就得到了高斯混合模型的概率密度函数。

​ 我们使用最大化似然估计来估计模型所需参数：
$$L(\theta )=P(x_{1:N}|\theta )=\prod _{j=1}^{N}P(x_j|\theta )\text{\hspace{1em}(4)}$$
​ 我们用联合概率密度作为似然函数，最大化似然函数就是最大化样本的联合概率密度，约束样本在高密度区域。取似然函数最大时的模型参数来塑造出高斯混合模型：
$$\theta =\underset{\theta }{\mathrm{argmax}}L(\theta )\text{\hspace{1em}(5)}$$
​ 我们用对数似然的方式进行计算。因为log函数是单调递增的，ｙ的变化会和ｘ的变化保持一致，同时log运算可以将乘法转换成加法，将乘法式子变成叠加的形式，方便对每一项单独分析。所以取 $L(\theta )$ 的最大值就等价于取 $\log [L(\theta )]$ 的最大值：
$$\theta =\underset{\theta }{\mathrm{argmax}}L(\theta )=\underset{\theta }{\mathrm{argmax}}\log [L(\theta )]\text{\hspace{1em}(6)}$$
​ 根据 Eq.(4)，$logL(\theta )$ 可等价于：
$$logL(\theta )=\sum _{j=1}^{N}logP(x_j|\theta )=\sum _{j=1}^{N}log(\sum _{k=1}^K{\pi }_k\varphi (x_i|{\theta }_k))\text{\hspace{1em}(7)}$$
其中，$\varphi (\cdot )$ 代表高斯分量，$\varphi (x_i|{\theta }_k)=\mathcal{N}(x_i|{\mu }_k,{\mathbf{\Sigma }}_k)$ 表示 $x_i$ 服从的概率密度函数。对于每一个分量都有未知的参数（隐变量） ${\pi }_k,{\mu }_k,{\Sigma }_k$ 存在（在优化过程中 ${\pi }_k$ 与 ${\mu }_k,{\Sigma }_k$​ 之间会相互影响），使得似然函数的形式变得非常复杂，无法直接求偏导计算，无法直接求得解析解。我们不知道哪个数据来自于哪个高斯，也不知道每个高斯的的均值和方差。这个问题就需要引入EM算法了。

​ EM算法主要用于解决含有隐变量的概率估计问题。主要流程就是先构造一个数学期望（E-step），然后再次期望的基础上使得概率变得最大（M-step）。在 Eq.(7) 求解参数的过程中，首先随机初始化构造 $\pi$ 的数学期望，在此基础上我们最大化 $logL(\theta )$ 进行估计 $\mu ,\Sigma$ ，再用估计出来的 $\mu ,\Sigma$ 带入模型继续估计 $\pi$，通过EM循环往复不断地迭代，最终确定参数 $\pi ,\mu ,\Sigma$。

​ E-step：初始化参数，并依据当前参数，我们计算数据 $x_j$ 来自第 $k$ 个分量的可能性：
$${\gamma }_{jk}=\frac{{\pi }_k\varphi (x_j|{\theta }_k)}{{\sum }_{k=1}^K{\pi }_k\varphi (x_j|{\theta }_k)},j=1,2,\dots ,N;k=1,2,\dots ,K\text{\hspace{1em}(8)}$$
​ M-step：利用计算得到的 ${\gamma }_{jk}$ 更新以下参数：
$${\mu }_k=\frac{{\sum }_j^N\left({\gamma }_{jk}{x}_j\right)}{{\sum }_j^N{\gamma }_{jk}},k=1,2,\dots ,K\text{\hspace{1em}(9)}$$
​ 利用 Eq.(9) 得到的 ${\mu }_k$ 更新下式：
$${\Sigma }_k=\frac{{\sum }_j^N{\gamma }_{jk}(x_j-{\mu }_k)(x_j-{\mu }_k{)}^T}{{\sum }_j^N{\gamma }_{jk}},k=1,2,\dots ,K\text{\hspace{1em}(10)}$$

$${\pi }_k=\frac{{\sum }_{j=1}^N{\gamma }_{jk}}{N},k=1,2,\dots ,K\text{\hspace{1em}(11)}$$

​ 通过不断循环EM过程，直到计算至收敛 $||{\theta }_{i+1}-{\theta }_i||<\epsilon$ ，$\epsilon$ 代表一个很小的数。由此，我们确定了高斯混合模型所需的全部参数。需要注意的是，EM 算法具备收敛性，但并不保证找到全局最大值，有可能找到局部最大值。解决方法是初始化几次不同的参数进行迭代，取结果最好的那次。

4.参考

机器学习算法（二十九）：高斯混合模型（Gaussian Mixed Model，GMM）

高斯混合模型（GMM）详解

EM算法：Expection Maximum, 期望最大法