机器学习（9） -- 聚类

9.1 聚类任务

聚类试图将数据集中的样本划分为若干个通常不想交的子集，每个子集称为一个簇。

9.2 性能度量

聚类性能度量大致两类：外部指标、内部指标

外部指标：将聚类结果与某个“参考模型”进行比较

内部指标：考察聚类结果 而不利用任何参考模型

 

外部指标：

聚类给出的簇划分：

参考模型给出的簇划分：

相应的簇标记向量为λ，λ*

SS包含了在C中隶属于相同簇且在C*中也隶属于相同簇的样本对；a+b+c+d=m(m-1)/2

于是导出下面常用的聚类性能度量外部指标，值在[0,1]，越大越好

Jaccard系数，JC：

FM指数，FMI：

Rand指数，RI：

 

内部指标：

对于聚类结果簇划分

于是导出下面常用的聚类性能度量内部指标，DBI越小越好，DI越大越好

DB指数，DBI：

Dunn指数，DI：

9.3 距离计算

距离度量函数 dist(·,·)，需满足：

非负性 ：

同一性：，当且仅当

对称性：

直递性：

 

给定样本

闵可夫斯基距离：

p=2时是欧氏距离

p=1时是曼哈顿距离

 

闵可夫斯基距离可用于计算连续属性和有序属性

无序属性用VDM，属性u上两个离散值a,b之间的VDM距离为

，表示第i个样本簇中在属性u上取值为a的样本数

于是，假设有 个有序属性， 个无序属性

加权距离

9.4 原型聚类

亦称“基于原型的聚类”，此类算法假设聚类结构能通过一组原型刻画。“原型”是指样本空间中具有代表性的点

一般，先对原型初始化，然后对原型进行迭代更新求解

K-means

针对聚类所得簇划分 最小化平方误差：

学习向量量化（LVQ）

和K均值类似，都是试图找出一组原型向量来刻画聚类结构，但是假设数据样本带有类别标记，学习过程利用样本的这些监督信息来辅助聚类。

关键是如何更新原型向量，对样本Xj，若最近的原型向量Pi， 与Xj的类别标记相同，则令Pi向Xj的方向靠拢。

学得一组原型向量{P1,P2,……Pq}后，即可实现对样本空间X的簇划分。对任意样本x，它将被划入到与其距离最近的原型向量所代表的簇中；换言之，每个原型向量Pi定义了与之相关的一个区域Ri，该区域中每个样本与P 的距离不大于它与其他原型向量Pi '的距离。

高斯混合聚类

采用概率模型来表达聚类原型

多元高斯分布定义：

记为：

高斯混合分布：

假设样本生成过程由高斯混合分布给出：首先，根据定义的先验分布选择高斯混合成分，其中 为选择第i个成分的概率；然后，根据被选择的混合成分的概率密度函数进行采样，从而生成相应的样本

极大似然估计：

 

也就是，假定每个簇都服从高斯分布，每个簇按各自的分布生成样本，所有样本独立，所有样本放在一起对应的是高斯混合分布

 

9.5 密度聚类

亦称“基于密度的聚类”，此类算法假设聚类结构能通过样本分布的紧密程度确定。通常，密度聚类算法从样本密度的角度来考察样本之间的可连续性，并基于可连接样本不断扩展聚类簇以获得最终的聚类结果。

 

DBSCAN，基于一组“邻域”参数刻画样本分布的紧密程度。

ε-邻域：

核心对象：，的ε-邻域内至少包含MinPts个样本，则是一个核心对象

密度直达：位于的ε-邻域中且是核心对象，则由密度直达

密度可达：对于与，存在序列，=， =， 由密度直达，则由密度可达

密度相连：对于与，若存在，使与均由密度可达，则称与密度相连

 

DBSCAN将簇定义为：由密度可达关系导出的最大的密度相连样本集合。

算法先根据给定的邻域参数（ε，MinPts）找出所有核心对象，再以任一核心对象为出发点，找出由其密度可达样本生成聚类簇，知道所有核心对象都被访问过为止

9.6 层次聚类

系统聚类，“自顶向下”，“自底向上”

 

其他：K均值算法可看作高斯混合聚类在混合成分方差相等、且每个样本仅指派给一个混合成分时的特例