机器学习理论 | 周志华西瓜书 第九章：聚类

第九章 聚类

此系列文章旨在提炼周志华《机器学习》的核心要点，不断完善中…

---

9.1 聚类任务

无监督学习：训练样本标记位置，学习揭示内在规律，分类任务等前驱过程
将数据集划分为若干互不相交的子集(簇：cluster)

9.2 性能度量

1、概念

• 内相似度(intra-cluster similarity)
• 簇间相似度(inter-cluster similarity)

2、指标

• 外部指标(external index)：将聚类结果与某个参考模型(reference model)进行比较
  常用的聚类性能度量外部指标（$a=|SS|,b=|SD|,c=|DS|,d=|DD|$）：

  • Jaccard系数(Jaccard Coefficient, JC)：$JC=\frac{a}{a+b+c}$
  • FM指数(Fowlkes and Mallows Index, FMI)：$FMI=\sqrt{\frac{a}{a+b}\ast \frac{a}{a+c}}$
  • Rand指数(Rand Index, RI)：$RI=\frac{2(a+d)}{m(m-1)}$

• 内部指标(internal index)：直接考察结果
  聚类结果的簇划分C={C1,C2,…Ck}，定义：

  • $avg(C)=\frac{2}{|C|(|C|-1)}{\sum }_{1\le i<j\le |C|}dist({\mathbf{x}}_i,{\mathbf{x}}_j)$
  • $diam(C)=ma{x}_{1\le i<j\le |C|}dist({\mathbf{x}}_i,{\mathbf{x}}_j)$
  • $d_{min}(C_i,C_j)=mi{n}_{{\mathbf{x}}_i\in C_i,{\mathbf{x}}_j\in C_j}dist({\mathbf{x}}_i,{\mathbf{x}}_j)$
  • $d_{cen}(C_i,C_j)=dist({\mathbf{\mu }}_i,{\mathbf{\mu }}_j)$

  导出内部指标

  • DB指数(Davies-Bouldin Index, DBI)：
    $$DBI=\frac{1}{k}\sum _{i=1}^{k}ma{x}_{j\ne i}(\frac{avg(C_i)+avg(C_j)}{d_{cen}(C_i,C_j)})$$
  • Dunn指数(Dunn Index, DI)：
    D I = m i n 1 ≤ i ≤ k { m i n j ≠ i ( d m i n ( C i , C j ) m a x 1 ≤ l ≤ k d i a m ( C l ) ) } DI=min_{1≤i≤k}\{min_{j≠i}(\frac{d_{min}(C_i,C_j)}{max_{1≤l≤k}diam(C_l)})\} DI=min1≤i≤k​{minj​=i​(max1≤l≤k​diam(Cl​)dmin​(Ci​,Cj​)​)}
  • DBI越小越好，DI越大越好

9.3 距离计算

1、距离度量的基本性质
非负性：$dist({\mathbf{x}}_i,{\mathbf{x}}_j)\ge 0$
同一性：$dist({\mathbf{x}}_i,{\mathbf{x}}_j)=0$当且仅当${\mathbf{x}}_i={\mathbf{x}}_j$
对称性：$dist({\mathbf{x}}_i,{\mathbf{x}}_j)=dist({\mathbf{x}}_j,{\mathbf{x}}_i)$
直递性：$dist({\mathbf{x}}_i,{\mathbf{x}}_j)\le dist({\mathbf{x}}_i,{\mathbf{x}}_k)+dist({\mathbf{x}}_k,{\mathbf{x}}_j)$（三角不等式）

2、最常用：闵可夫斯基距离(Minkowski distance)
$$dis{t}_{mk}({\mathbf{x}}_i,x_j)=(\sum _{u=1}^n|x_{iu}-x_{ju}{|}^p{)}^{\frac{1}{p}}$$
p=∞：切贝雪夫距离
p=2：欧式距离：$dis{t}_{ed}({\mathbf{x}}_i,{\mathbf{x}}_j)=||{\mathbf{x}}_i-{\mathbf{x}}_j|{|}_2=\sqrt{{\sum }_{u=1}^n|x_{iu}-x_{ju}{|}^2}$
p=1：曼哈顿距离：$dis{t}_{man}({\mathbf{x}}_i,{\mathbf{x}}_j)=||{\mathbf{x}}_i-{\mathbf{x}}_j|{|}_1={\sum }_{u=1}^n|x_{iu}-x_{ju}{|}^2$

3、几个概念
连续属性/离散属性：定义域上有无穷/有限取值
有序属性：可采用闵可夫斯基距离
无序属性：可采用VDM(Value Difference Metric)：$$VD{M}_p(a,b)=\sum _{i=1}^k|\frac{m_{u,a,i}}{m_{u,a}}-\frac{m_{u,b,i}}{m_{u,b}}|$$
相似度度量：非度量距离（距离大相似小，未必满足度量距离性质，尤其直递性）
距离度量学习：基于数据样本来确定合适的距离计算式

4、一些做法
将闵可夫斯基距离和VDM结合（可处理混合属性）：
加权闵可夫斯基距离（样本空间不同属性的重要性不同时）：

9.4 原型聚类

0、基本想法：假设聚类结构能通过一组原型刻画（在现实聚类任务中极为常用）

1、k均值算法

• 最小化平方和误差：$E={\sum }_{i=1}^k{\sum }_{\mathbf{x}\in C_i}||\mathbf{x}-{\mathbf{\mu }}_i|{|}_2^2$

  • 样本集： D = { x 1 , x 2 , . . . x m } D=\{\bm x_1,\bm x_2,...\bm x_m\} D={x1​,x2​,...xm​}
  • 簇划分： C = { C 1 , C 2 , . . . , C k } \mathcal{C}=\{C_1,C_2,...,C_k\} C={C1​,C2​,...,Ck​}
  • 簇Ci的均值向量：${\mathbf{\mu }}_i=\frac{1}{|C_i|}{\sum }_{\mathbf{x}\in C_i}\mathbf{x}$

• 采用贪心策略，通过迭代优化来近似求解上述最小化平方误差的解

• k均值算法

• 算法测试结果
  

2、学习向量量化(Learning Vector Quantization, LVQ)

• 假设数据样本带有类别标记，学习过程利用样本的这些监督信息来辅助聚类
• 算法
• Voronoi划分
  R i = { x ∈ X ∣   ∣ ∣ x − p i ∣ ∣ 2 ≤ ∣ ∣ x − p i ′ ∣ ∣ 2 , i ′ ≠ i } R_i=\{\bm x\in\mathcal{X}|\ ||\bm x-\bm p_i||_2≤||\bm x-\bm p_{i'}||_2,i'≠i\} Ri​={x∈X∣ ∣∣x−pi​∣∣2​≤∣∣x−pi′​∣∣2​,i′​=i}
• 算法测试结果
  

3、高斯混合聚类(Mixture of Gaussian)

• 多元高斯分布概率密度函数：$p(\mathbf{x})=\frac{1}{(2\pi {)}^{\frac{n}{2}}|\mathbf{\Sigma }{|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })}$
• 高斯混合分布函数：$p_M(\mathbf{x})={\sum }_{i=1}^k{\alpha }_i\ast p(\mathbf{x}|{\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)$
  性质：k个混合成分组成（每个对应一个高斯分布）
  混合系数：${\sum }_{i=1}^k{\alpha }_i=1$
• 假设样本生成过程由高斯分布给出
  1.根据a1,a2,…ak定义的先验分布选择高斯混合成分（ai为选择第i个混合成分概率）
  2.根据被选择的混合成分的概率密度函数进行采样，生成相应的样本
  3.若训练集D由上述过程生成，令随机变量zj={1,2,…k}表示生成样本xj的高斯混合成分，取值未知
  4.样本xj由第i个高斯混合成分生成的后验概率
• 模型参数求解
  极大似然估计
  采用EM算法进行迭代优化求解
• 算法
  

9.5 密度聚类

0、基本想法：假设聚类结构能通过样本分布的紧密程度决定
1、著名密度聚类算法DBSCAN(Density-Based Spatial Clustering of Applications with Noise)

• 思想：基于一组领域参数来刻画样本分布的紧密程度
• 基本概念
  
  • ε-邻域：对${\mathbf{x}}_j\in D，$其$ϵ$-邻域包含样本集D中与${\mathbf{x}}_j$的距离不大于$ϵ$的样本，即 N ϵ ( x j ) = { x j ∈ D ∣ d i s t ( x i , x j ) ≤ ϵ } N_{\epsilon}(\bm x_j)=\{\bm x_j\in D |dist(\bm x_i,\bm x_j)≤\epsilon\} Nϵ​(xj​)={xj​∈D∣dist(xi​,xj​)≤ϵ}
  • 核心对象：若${\mathbf{x}}_j$的$ϵ$-邻域至少包含MinPts个样本，即$|N_{ϵ}({\mathbf{x}}_j)|\ge MinPts$，则${\mathbf{x}}_j$是一个核心对象
  • 密度直达：若${\mathbf{x}}_j$位于${\mathbf{x}}_i$的$ϵ$-邻域中，且${\mathbf{x}}_i$是核心对象，则称${\mathbf{x}}_j$由${\mathbf{x}}_i$密度直达
  • 密度可达：对${\mathbf{x}}_i$与${\mathbf{x}}_j$，若存在样本系列${\mathbf{p}}_1,{\mathbf{p}}_2,...{\mathbf{p}}_{\mathbf{n}}$，其中${\mathbf{p}}_1={\mathbf{x}}_i$，${\mathbf{p}}_n={\mathbf{x}}_j$且${\mathbf{p}}_{i+1}$由${\mathbf{p}}_i$密度直达，则称${\mathbf{x}}_j$由${\mathbf{x}}_i$密度可达
  • 密度相连：对${\mathbf{x}}_i$与${\mathbf{x}}_j$，若存在${\mathbf{x}}_k$使得${\mathbf{x}}_i$与${\mathbf{x}}_j$均由${\mathbf{x}}_k$密度可达，则称${\mathbf{x}}_i$与${\mathbf{x}}_j$密度相连
• DBSCAN对簇的定义
  • 由密度可达关系导出的最大的密度相连样本集合
  • 给定领域参数(E,MinPts)，簇C是满足以下性质的非空样本子集
    连接性(connectivity)：${\mathbf{x}}_i\in C,{\mathbf{x}}_j\in C\Rightarrow$${\mathbf{x}}_i$与${\mathbf{x}}_j$密度相连
    最大型(maximality)：${\mathbf{x}}_i\in C,$${\mathbf{x}}_j$由${\mathbf{x}}_i$密度可达$\Rightarrow {\mathbf{x}}_j\in C$
• 算法
  
• 算法测试结果
  

9.6 层次聚类

0、基本想法：试图在不同层次对数据集进行划分，从而形成树形的聚类结构

1、自底向上的聚合策略: AGglomerative NESting(AGNES)

• 算法过程
  1.将数据集中的每个样本看做一个初始聚类簇
  2.在运行的每一步找出距离最近两个簇并合并
  3.重复，直到达到预设的聚类簇个数

• 集合的距离
  通常采用：Hausdorff distance
  

  注意：当聚类簇距离由dmin、dmaz或davg计算时，AGNES算法被相应地成为单链接、全链接或均链接算法

• 算法
  

• 算法测试结果
  
  
  2、自顶向下的分拆策略：DIANA