机器学习笔记之谱聚类(一)k-Means聚类算法介绍

引言

从本节开始，将介绍聚类任务，本节将介绍$\text{k-Means}$算法。

回顾：高斯混合模型

高斯混合模型($\text{Gaussian Mixture Model,GMM}$)是一种处理聚类任务的常用模型。作为一种概率生成模型，它的概率图结构可表示为如下形式：

其中隐变量$\mathcal{Z}$是一个离散型随机变量，对应随机变量$\mathcal{X}$的后验结果服从高斯分布：
Z ∼ Categorical Distribution ( 1 , 2 , ⋯   , K ) X ∣ Z ∼ N ( μ k , Σ k ) k ∈ { 1 , 2 , ⋯   , K } \begin{aligned} \mathcal Z & \sim \text{Categorical Distribution}(1,2,\cdots,\mathcal K) \\ \mathcal X & \mid \mathcal Z \sim \mathcal N(\mu_{k},\Sigma_{k}) \quad k \in \{1,2,\cdots,\mathcal K\} \end{aligned} ZX​∼Categorical Distribution(1,2,⋯,K)∣Z∼N(μk​,Σk​)k∈{ 1,2,⋯,K}​
从生成模型的角度，高斯混合模型对$\mathcal{P}(\mathcal{X},\mathcal{Z})$进行建模。关于$\mathcal{X}$的概率密度函数$\mathcal{P}(\mathcal{X})$可表示为如下形式：
其中${\mathcal{P}}_{{\mathcal{Z}}_k}$表示隐变量$\mathcal{Z}$选择离散结果$k$时的概率结果;${\mu }_{{\mathcal{Z}}_k},{\Sigma }_{{\mathcal{Z}}_k}$表示对应$\mathcal{X}\mid {\mathcal{Z}}_k$高斯分布的均值和协方差信息。
$$\begin{array}{rl}\mathcal{P}(\mathcal{X})& =\sum _{\mathcal{Z}}\mathcal{P}(\mathcal{X},\mathcal{Z})\\ & =\sum _{\mathcal{Z}}\mathcal{P}(\mathcal{Z})\cdot \mathcal{P}(\mathcal{X}\mid \mathcal{Z})\\ & =\sum _{k=1}^{\mathcal{K}}{\mathcal{P}}_{{\mathcal{Z}}_k}\cdot \mathcal{N}({\mu }_{{\mathcal{Z}}_k},{\Sigma }_{{\mathcal{Z}}_k})\end{array}$$

聚类任务基本介绍

在生成模型综述——监督学习与无监督学习中简单介绍过，聚类($\text{Clustering}$)任务属于无监督学习($\text{Unsupervised Learning}$)任务。无监督学习任务的特点是：样本标签是未知的。而无监督学习的目标是通过学习无标签的样本来揭示数据的内在性质及规律。

而聚类试图将数据集内的样本划分为若干个子集，每个子集称为一个簇($\text{Cluster}$)。从概率/非概率模型的角度划分，概率模型的典型模型是高斯混合模型；而非概率的聚类模型，其主要代表是 $k$均值算法($\text{k-Means}$)。

距离计算

在介绍$\text{k-Means}$算法之前，需要介绍聚类的有效性指标($\text{Vaildity Index}$)。从直观上描述，在聚类的过程我们更希望物以类聚——相同簇的样本尽可能地彼此相似，不同簇的样本尽可能地不同。

对于两个样本点，通常使用计算它们在样本空间中的距离 来描述两样本之间的相似性程度。样本之间距离越小，样本之间的相似性程度越高，反之同理。

已知两个样本$x^{(i)},x^{(j)}$表示如下：
它们均属于$p$维特征空间，即$x^{(i)},x^{(j)}\in {\mathbb{R}}^p$.
$$\{\begin{array}{l}{x}^{(i)}={\left(x_1^{(i)},x_2^{(i)},\cdots ,x_p^{(i)}\right)}^T\\ x^{(j)}={\left(x_1^{(j)},x_2^{(j)},\cdots ,x_p^{(j)}\right)}^T\end{array}$$
关于描述样本 x ( i ) , x (