机器学习 —— 3 聚类（K均值和高斯混合模型）

---

前言

聚类是一种无监督学习方法，把相似的对象通过静态分类的方法分成不同的组别或子集合，使得同一类别或子集中的对象具有相似的属性，在数据挖掘、模式识别、图像分析、数据分 析中具有广泛的应用。

---

一、K均值算法(K-means)

目标：将所有数据样本聚类成$K$个类别。即找到$k$个聚类中心${\mu }_1,{\mu }_2,...,{\mu }_K$，则每个样本点的聚类类别为与之最近的聚类中心所对应类别。

1.模型定义

数据集中有$N$个样本： { x 1 , x 2 , . . . , x N } \{x_1, x_2, ...,x_N\} {x1​,x2​,...,xN​}，对于每个样本$x_n$，定义其聚类类别$r_n,r_n\in {\mathbb{R}}^K$.
$r_n$相当于类别的one-hot表示，是一个$K$维的向量，即如果$x_n$属于第$k$个聚类类别，则其第$k$个维度$r_{nk}=1$，其余维度为$0$。例如$r_n=[0,0,1,0{]}^{\mathrm{T}}$表示聚类类别一共4类，且样本$x_n$属于第3类。
模型的目标函数定义如下：
$$J=\sum _{n=1}^N\sum _{k=1}^K{r}_{nk}\parallel {\text{x}}_n-{\mu }_k{\parallel }^2$$

2.模型算法

目标函数中包含有类别中心$\mu$和样本所属类别$r_n$这两类可更新的参数，可以利用EM算法对其进行更新：
首先随机初始化$K$个聚类中心${\mu }_1$到${\mu }_K$，然后使用EM算法循环更新参数：

1. Expectation Step：在当前给定的聚类中心的条件下，计算并更新每个样本的期望类别：
   $$r_{nk}=\{\begin{array}{rlr}1& ,& k=\underset{j}{\mathrm{argmin}}\parallel {\text{x}}_n-{\mu }_j\parallel \\ 0& ,& else\end{array}$$

2. Maximization Step:在当前给定的样本聚类类别条件下，按照最优化准则生成${\mu }_1$到${\mu }_k$：
   将目标函数对参数${\mu }_k$求偏导并置零：
   $$\frac{\partial J}{\partial {\mu }_k}=2\sum _{n=1}^N{r}_{nk}({\text{x}}_n-{\mu }_k)=0$$ 得到：
   $${\mu }_k=\frac{{\sum }_n{r}_{nk}{\text{x}}_n}{{\sum }_n{r}_{nk}}$$用该公式更新${\mu }_1$到${\mu }_k$

可通过观察目标函数$J$的值判断是否收敛

二、高斯混合模型(GMM - Gaussian Mixture Model)

高斯混合模型的基本原理是将$K$不同的高斯分布赋予不同的权重，相加在一起组成一个复杂的分布。理论上如果$K$值以及权重的的选取得当，高斯混合模型可以拟合任何分布。

1.与K-means的异同

GMM与K-means的思想大致相同，即都需要寻找$K$聚类中心，将所有样本进行分类。但K-means中每个聚类中心仅仅对应一个固定的点（只有均值$\mu$这一个参数），每个样本只属于一个聚类类别，即距离它最近的聚类中心所对应的类别；而GMM中每个聚类中心对应的是一个高斯分布（拥有均值$\mu$和方差${\sigma }^2$这两个参数），因为高斯分布的定义域是全体实数，因此每个样本将同时属于$K$个聚类类别，但对应的概率不同，分类时选择概率最高的分布对应的聚类类别即可。

2.模型定义

对于$N$个样本： { x 1 , x 2 , . . . , x N } \{x_1,x_2,...,x_N\} {x1​,x2​,...,xN​}，定义样本服从的分布为
$$p(x)=\sum _{k=1}^{K}p(z_k)p(x|z_k)$$ 上式相当于一个全概率公式，其中

• $z_k$：表示第$k$个聚类类别
• $p(z_k)$：表示第$k$个聚类类别的概率，在高斯分布中记为${\pi }_k$，并且满足所有类别的概率之和等于1，即${\sum }_{k=1}^{K}p(z_k)={\sum }_{k=1}^K{\pi }_k=1$
• $p(x|z_k)$：第$k$个类别的高斯分布，定义为$\mathcal{N}(x|{\mu }_k,{\Sigma }_k)$

因此可以将上述样本分布改写为：
$$p(x|\pi ,\mu ,\Sigma )=\sum _{k=1}^K{\pi }_k\mathcal{N}(x|{\mu }_k,{\Sigma }_k),s.t.\sum _{k=1}^K{\pi }_k=1$$从这个式子中可以更好的看出，高斯混合模型实际上就是用$K$个不同的加权和形成的分布来拟合真实的样本分布。那么模型中一共有三类参数需要学习：每个类别的权重${\pi }_k$，每个类别的均值${\mu }_k$，每个类别的方差${\Sigma }_k$

3.模型算法

(1) 几个定义

定义聚类类别$z_k$的后验分布$\gamma (z_k)$：
$$\begin{array}{rl}\gamma (z_k)& =p(z_k|x)\\ & =\frac{p(z_k)p(x|z_k)}{{\sum }_{i=1}^{K}p(z_i)p(x|z_i)}\\ & =\frac{{\pi }_k\mathcal{N}(x|{\mu }_k,{\Sigma }_k)}{{\sum }_{i=1}^K{\pi }_i\mathcal{N}(x|{\mu }_i,{\Sigma }_i)}\end{array}$$这样就可以通过后验分布计算样本$x_i$属于聚类类别$k$的概率$\gamma (z_{ik})$，可以将其看做是样本$x_i$的类别标签：
$$\gamma (z_{ik})=\frac{{\pi }_k\mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)}{{\sum }_{i=1}^K{\pi }_i\mathcal{N}(x_i|{\mu }_i,{\Sigma }_i)}$$
定义$N_k$为属于第$k$个聚类类别的样本数量（或期望）：
$$N_k=\sum _{i=1}^N\gamma (z_{ik})$$ 总样本数量$N$可以改写为：
$$N=\sum _{k=1}^K\sum _{i=1}^N\gamma (z_{ik})$$

(2) 求解推导

对于类别权重${\pi }_k$，类别均值${\mu }_k$，以及类别方差${\Sigma }_k,$这三类参数，依旧采用EM算法进行更新学习：
首先写出对数似然函数：
$$\begin{array}{rl}\ln L(x|\pi ,\mu ,\Sigma )& =\ln \prod _{i=1}^{N}p(x_i|\pi ,\mu ,\Sigma )\\ & =\ln \prod _{i=1}^N\sum _{k=1}^K{\pi }_k\mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)\\ & =\sum _{i=1}^N\ln \sum _{k=1}^K{\pi }_k\mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)\\ & =\sum _{i=1}^N\ln \sum _{k=1}^K{\pi }_k(2\pi {)}^{-\frac{D}{2}}{\Sigma }_k^{-\frac{1}{2}}\exp \left\{-\frac{1}{2}(x_i-{\mu }_k{)}^{\mathrm{T}}{\Sigma }_k^{-1}(x_i-{\mu }_k)\right\}\end{array}$$

对${\mu }_k$求偏导：
$$\begin{array}{rl}\frac{\partial }{\partial {\mu }_k}\ln L(x|\pi ,\mu ,\Sigma )& =-\sum _{i=1}^N\frac{\partial }{\partial {\mu }_k}\ln \sum _{k=1}^K{\pi }_k\mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)\\ & =-\sum _{i=1}^N\frac{{\pi }_k\mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)}{{\sum }_{k=1}^K{\pi }_k\mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)}\cdot {\Sigma }^{-1}(x_i-{\mu }_k)\\ & =-\sum _{i=1}^N\gamma (z_{ik})\cdot {\Sigma }^{-1}(x_i-{\mu }_k)\end{array}$$导数置零得：
$${\mu }_k=\frac{{\sum }_{i=1}^N\gamma (z_{ik})x_i}{{\sum }_{i=1}^N\gamma (z_{ik})}=\frac{1}{N_k}\sum _{i=1}^N\gamma (z_{ik})x_i$$

对${\Sigma }_k$求偏导：
∂ ∂ Σ k ln ⁡ L ( x ∣ π , μ , Σ ) = − ∑ i = 1 N ∂ ∂ Σ k ln ⁡ ∑ k = 1 K π k N ( x i ∣ μ k , Σ k ) = ∑ i = 1 N − 1 2 Σ k − 1 ⋅ π k N ( x i ∣ μ k , Σ k ) + 1 2 Σ k − 1 ( x i − μ k ) ( x i − μ k ) T Σ k − 1 ⋅ π k N ( x i ∣ μ k , Σ k ) ∑ k = 1 K π k N ( x i ∣ μ k , Σ k ) = − 1 2 ∑ i = 1 N { γ ( z i k ) [ Σ k − 1 − Σ k − 1 ( x i − μ k ) ( x i − μ k ) T Σ k − 1 ] } \begin{aligned} \frac{\partial}{\partial \Sigma_k}\ln L(x| \pi,\mu,\Sigma) & = -\sum^N_{i=1}\frac{\partial}{\partial \Sigma_k} \ln \sum^K_{k=1}\pi_k\mathcal{N}(x_i|\mu_k,\Sigma_k) \\ & = \sum^N_{i=1} \frac{-\frac{1}{2}\Sigma^{-1}_k \cdot \pi_k\mathcal{N}(x_i|\mu_k,\Sigma_k) + \frac{1}{2}\Sigma^{-1}_k(x_i-\mu_k)(x_i-\mu_k)^{\mathrm{T}}\Sigma^{-1}_k\cdot\pi_k\mathcal{N}(x_i|\mu_k,\Sigma_k)}{\sum^K_{k=1}\pi_k\mathcal{N}(x_i|\mu_k,\Sigma_k)} \\ & = -\frac{1}{2}\sum^N_{i=1}\{\gamma(z_{ik})[\Sigma^{-1}_k - \Sigma^{-1}_k(x_i-\mu_k)(x_i-\mu_k)^{\mathrm{T}}\Sigma^{-1}_k]\} \end{aligned} ∂Σk​∂​lnL(x∣π,μ,Σ)​=−i=1∑N​∂Σk​∂​lnk=1∑K​πk​N(xi​∣μk​,Σk​)=i=1∑N​∑k=1K​πk​N(xi​∣μk​,Σk​)−21​Σk−1​⋅πk​N(xi​∣μk​,Σk​)+21​Σk−1​(xi​−μk​)(xi​−μk​)TΣk−1​⋅πk​N(xi​∣μk​,Σk​)​=−21​i=1∑N​{γ(zik​)[Σk−1​−Σk−1​(xi​−μk​)(xi​−μk​)TΣk−1​]}​ 导数置零得：
$$\begin{array}{rl}{\Sigma }_k& =\frac{1}{{\sum }_{i=1}^N\gamma (z_{ik})}\sum _{i=1}^N\gamma (z_{ik})(x_i-{\mu }_k)(x_i-{\mu }_k{)}^{\mathrm{T}}\\ & =\frac{1}{N_k}\sum _{i=1}^N\gamma (z_{ik})(x_i-{\mu }_k)(x_i-{\mu }_k{)}^{\mathrm{T}}\end{array}$$

对${\pi }_k$求偏导：
由于模型对$\pi$具有限制条件：${\sum }_{k=1}^K{\pi }_k=1$，因此需要引入拉格朗日乘子$\lambda ({\sum }_{k=1}^K{\pi }_k-1)$，再进行求导：
$$\begin{array}{rl}\frac{\partial }{\partial {\Sigma }_k}[\ln L(x|\pi ,\mu ,\Sigma )-\lambda (\sum _{k=1}^K{\pi }_k-1)]& =\sum _{i=1}^N\frac{\mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)}{{\sum }_{k=1}^K{\pi }_k\mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)}-\lambda \\ & =\frac{1}{{\pi }_k}\left(\sum _{i=1}^N\frac{\mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)\cdot {\pi }_k}{{\sum }_{k=1}^K{\pi }_k\mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)}-\lambda \cdot {\pi }_k\right)\\ & =\frac{1}{{\pi }_k}\left(\sum _{i=1}^N\gamma (z_{ik})-\lambda \cdot {\pi }_k\right)\end{array}$$ 导数置零，求得$\lambda$：
$$\begin{gathered} \sum _{i=1}^N\gamma (z_{ik})-\lambda \cdot {\pi }_k=0 \\ \sum _{k=1}^K\lambda \cdot {\pi }_k=\sum _{k=1}^K\sum _{i=1}^N\gamma (z_{ik}) \\ \lambda =\sum _{k=1}^K\sum _{i=1}^N\gamma (z_{ik}) \end{gathered}$$所以最终得到：
$${\pi }_k=\frac{{\sum }_{k=1}^K\lambda \cdot {\pi }_k}{{\sum }_{k=1}^K{\sum }_{i=1}^N\gamma (z_{ik})}=\frac{N_k}{N}$$

(3) EM算法更新

首先随机初始化所有参数：${\pi }_k,{\mu }_k,{\Sigma }_k$，其中$k=1,2,...,K$，之后利用EM算法进行迭代更新。

1. Expectation Step：根据当前给定的参数${\pi }_k,{\mu }_k,{\Sigma }_k$计算所有样本的后验概率$\gamma (z_{ik})$
   $$\gamma (z_{ik})=\frac{{\pi }_k\mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)}{{\sum }_{i=1}^K{\pi }_i\mathcal{N}(x_i|{\mu }_i,{\Sigma }_i)}$$

2. Maximization Step:在当前给定的样本聚类类别条件下，按照最优化准则生成${\mu }_1$到${\mu }_k$：
   $$\{\begin{array}{rl}{\mu }_k& =\frac{1}{N_k}\sum _{i=1}^N\gamma (z_{ik})x_i\\ {\Sigma }_k& =\frac{1}{N_k}\sum _{i=1}^N\gamma (z_{ik})(x_i-{\mu }_k)(x_i-{\mu }_k{)}^{\mathrm{T}}\\ {\pi }_k& =\frac{N_k}{N}\end{array}$$