其他算法-高斯混合模型

高斯模型

单高斯模型

当样本数据 $x\in \mathbb{R}$ 是一维时，高斯分布服从以下概率密度函数：
$$P(x|\theta )=\frac{1}{\sqrt{2\pi {\sigma }^2}}exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$
其中，$\mu$为数据均值（期望），$\sigma$为数据标准差；

当样本数据 $x\in {\mathbb{R}}^D$ 是多维时，高斯分布服从以下概率密度函数：
$$P(x|\theta )=\frac{1}{(2\pi {)}^{\frac{D}{2}}|\sum {|}^{\frac{1}{2}}}exp(-\frac{(x-\mu {)}^T{\sum }^{-1}(x-\mu )}{2})$$
其中，$\mu \in {\mathbb{R}}^D$为数据均值（期望），$\sum \in {\mathbb{R}}^{D\times D}$为数据的协方差矩阵（协方差矩阵回顾其他算法-卡尔曼滤波器），$D$为数据维度；

高斯混合模型GMM

高斯混合模型（Gaussian Mixture Model）可以看作是由多个单高斯模型集成的模型，理论上，混合模型可以使用任何的概率分布作为子模型，使用高斯模型是因为高斯分布具有更广泛的物理意义。

比如对以下二维数据：

如果仅通过单高斯模型，是不能很好拟合其分布的，但通过（多峰的）高斯混合模型，可以较容易拟合该数据的分布。

定义以下信息：

• $x_j$表示第$j$个观测数据，$j=1,2,...,N$
• $K$是混合模型中子高斯模型的数量，$k=1,2,...,K$
• ${\alpha }_k$是观测数据的混合系数，反映了第$k$个子模型在决定数据分布时占有的权重，满足：
  $$\sum _{k=1}^K{\alpha }_k=1$$
• $\varphi (x|{\theta }_k)$是第$k$个子模型的高斯分布密度函数（单高斯模型），${\theta }_k=({\mu }_k,{\sum }_k)$

因此，高斯混合模型的概率分布为：
$$P(x|\theta )=\sum _{k=1}^K{\alpha }_k\varphi (x|{\theta }_k)$$

参数估计

单高斯模型参数估计-极大似然

对于单高斯模型，可以用极大似然法估计参数$\theta$的值：
$$\theta =argma{x}_{\theta }L(\theta )$$
假设每个数据点相互独立，似然函数（Likelihood）可以通过各个数据点的概率密度连乘得到，为了便于计算，可以在似然函数上取对数（Log-Likelihood）：
$$L(\theta )=\prod _{j=1}^{N}P(x_j|\theta )\to log(L(\theta ))=\sum _{j=1}^{N}log(P(x_j|\theta ))$$

---

极大似然估计参数的推导过程回顾非线性规划-三种常见参数估计算法及联系

极大似然包括两个步骤：

• 1.找到似然函数
• 2.对似然函数求导，令导数为零，直接得到解

---

对于高斯混合模型，可以发现，其对数似然函数为：
$$log(L(\theta ))=\sum _{j=1}^{N}log(P(x_j|\theta ))=\sum _{j=1}^{N}log(\sum _{k=1}^K{\alpha }_k\varphi (x_j|{\theta }_k))$$
这里不能像单高斯模型一样使用极大似然法求导，以获得似然函数的最大参数，因为对一个数据点而言，存在$K$组未知的参数[${\alpha }_k,{\theta }_k$]，考虑通过迭代的方法求解；

高斯混合模型参数估计-EM算法

EM算法回顾 非线性规划-三种常见参数估计算法及联系，对于GMM，隐变量来自 $K$ 个子模型；假设样本数据为{$x_1,x_2,...,x_N$}，EM算法过程如下：

• 1.根据jensen不等式定义对数似然函数的下界
  $$\sum _{j=1}^{N}log(\sum _{k=1}^K{\alpha }_k\varphi (x_j|{\theta }_k))\Rightarrow \sum _{j=1}^N\sum _{k=1}^K{\gamma }_{jk}log(\frac{{\alpha }_k\varphi (x_j|{\theta }_k)}{{\gamma }_{jk}})$$
• 2.E步：根据当前参数，计算期望
  $${\gamma }_{jk}=\frac{{\alpha }_k\varphi (x_j|{\theta }_k)}{{\sum }_{k=1}^K{\alpha }_k\varphi (x_j|{\theta }_k)}$$
  代入下界函数作为新的似然函数：
  $$L(\theta )=\sum _{j=1}^N\sum _{k=1}^K{\gamma }_{jk}log(\frac{{\alpha }_k\varphi (x_j|{\theta }_k)}{{\gamma }_{jk}})$$
• 3.M步：极大似然
  $$\theta =argma{x}_{\theta }(L(\theta ))$$
  通过解导数为零的根，可以更新参数 θ = α k , μ k , ∑ k , k = { 1 , 2 , . . . , K } \theta=\alpha_{k},\mu_{k},\sum_{k},k=\left\{1,2,...,K\right\} θ=αk​,μk​,∑k​,k={1,2,...,K}：
  $${\mu }_k=\frac{{\sum }_{j=1}^N{\gamma }_{jk}{x}_j}{{\sum }_{j=1}^N{\gamma }_{jk}},\sum _k=\frac{{\sum }_{j=1}^N{\gamma }_{jk}(x_j-{\mu }_k)(x_j-{\mu }_k{)}^T}{{\sum }_{j=1}^N{\gamma }_{jk}},{\alpha }_k=\frac{{\sum }_{j=1}^N{\gamma }_{jk}}{N},k=1,2,..,K$$
• 4.检验模型是否收敛，如果不收敛，则回到第2步

使用EM算法迭代多次后，可以得到高斯混合模型的参数，注意：EM 算法具备收敛性，但并不保证找到全局最大值，有可能找到局部最大值。解决方法是初始化几次不同的参数进行迭代，取结果最好的那次；

GMM与k-means

k-means回顾 机器学习笔记本-K均值算法，GMM与k-means都常用作聚类算法，两者都使用EM算法进行参数估计（学习），两者的比较如下：

相同点：

• 都是迭代执行的算法，且迭代的策略也相同：算法开始执行时先对需要计算的参数赋初值，然后交替执行两个步骤，一个步骤是对数据的估计（k-means是估计每个点所属簇；GMM是计算隐含变量的期望）；第二步是用上一步算出的估计值重新计算参数值，更新目标参数（k-means是计算簇心位置；GMM是计算各个高斯分布的均值和协方差矩阵以及混合系数）；
• k-means可以看成是一种特殊的GMM

不同点：

• 1.需要计算的参数不同：k-means是簇心位置；GMM是各个高斯分布的参数；
• 2.计算目标参数的方法不同：k-means是计算当前簇中所有元素的位置的均值；GMM是基于概率的算法，通过计算似然函数的最大值实现分布参数的求解的