（《机器学习》完整版系列）第9章 聚类——9.5 密度聚类与层次聚类（DBSCAN算法、AGNES算法）

DBSCAN以邻域参数$(ϵ,\mathrm{MinPts})$来刻画分布的紧密程度。
AGNES算法找距离最近的两簇进行合并。

密度聚类

高斯混合聚类是从样本$\mathbf{x}$的分布密度入手建立概率模型，这里仍从分布密度入手，但考察样本之间的连接性。 DBSCAN以邻域参数$(ϵ,\mathrm{MinPts})$来刻画分布的紧密程度。 对数据集 D = { x i } i = 1 m D=\{\boldsymbol{x }_i\}_{i=1}^m D={xi​}i=1m​，设定一个稠密标准，样本周围达到这个标准，则称该样本为核心对象，通俗地讲：核心样本就是以该样本为球心，半径为$ϵ$的球内及球上（称为$ϵ$-邻域）至少包含$\mathrm{MinPts}$个样本。

显然，一个样本能否称为核心对象与两参数$(ϵ,\mathrm{MinPts})$有关，故将这两参数作为认定密度标准。 一旦确定了该标准就可以对数据集$D$进行考察。

核心对象${\mathbf{x}}_i$到达其邻域内的点${\mathbf{x}}_j$称为密度直达。 可以设想核心为巴士总站，它到其邻域内每一站点都有一直达巴士但是单向的。 用有向线段表示密度直达：$({\mathbf{x}}_i\to {\mathbf{x}}_j)$，若${\mathbf{x}}_j$也是核心对象，才有回程直达$({\mathbf{x}}_j\to {\mathbf{x}}_i)$。

密度可达可以理解为可换乘到达：通过一系列的核心对象站点换乘上述单向直达巴士从${\mathbf{x}}_i$到达${\mathbf{x}}_j$。 若两个人从同一点分别向两个不同方向出发，按密度可达方式各自到达一个站点，则这两个站点称为密度相连。 密度可达当然是密度相连，因为其中一人坐了0站。 【西瓜书图9.8】给出了概念的图示。

有了上述概念，就可以定义簇：若${\mathbf{x}}_i$与${\mathbf{x}}_j$密度相连，则${\mathbf{x}}_i$与${\mathbf{x}}_j$属于同一簇。 与前述聚类不同的是，这里没有指定簇的个数，而是指定簇的标准，即超参数为$(ϵ,\mathrm{MinPts})$，它隐式地决定了簇的个数，如【西瓜书图9.10】示例，由$(ϵ=0.11,\mathrm{MinPts}=5)$在数据集上划分的簇数为4。

【西瓜书图9.9】DBSCAN算法分为两部分：

（1）找出所有核心对象$\Omega$，第2-7句。

（2）依超参数$(ϵ,\mathrm{MinPts})$指定的标准，依次找出簇$C_1,C_2,\cdots ,C_n$，第10-24句。

$L$为未访问的样本的集合，这里的“访问”就是指前述坐单向巴士去，而$L_{\mathrm{old}}$为$L$的备份。 第（2）部分包含两层循环：

第一层，基于核心对象集合$\Omega$的循环，第10句。 循环体为：

• 任意取出一核心对象$o$，第12句。
• 找出含核心对象$o$的簇$C_k$，第22句。 找的过程留待第二层处理。
• $\Omega$中剔除簇$C_k$中的核心对象，第23句。

第一层循环过程中$k$递增，最后的$k$即为簇数$n$。

第二层，基于工作队列（或集合）$Q$的循环，第14句。 $Q$的初始化为第一层选定的样本（核心对象$o$），第12句。 循环体为：

• $Q$中取出$q$，$Q$中减少一个元素$q$，第15句。
• 当$q$为核心对象（第16句）时，从$q$出发乘巴士直达未去过的点，将其全部放入$Q$，第17-18句。
• 上述巴士“访问”过的点从$L$中剔除，第13句和第19句。

第二层循环中形成访问链，即为通过$q$出发能密度达到的样本，循环完后，说明所有的通过$q$出发能访问（密度达到）的样本已全部从$L$中剔除，因此，剔除的样本集（$L_{\mathrm{old}}\setminus L$）即为由$o$导出的簇$C_k$，第22句。

层次聚类

AGNES算法【西瓜书图9.11】是采用“自底向上”，原理比较简单。 其技巧在于建立一个二维表（或矩阵），元素为$M(i,j)=d(Ci,Cj)$，第4-8句所述。 由于距离的对称性，故实际只需考虑上三角形。

找出二维表中的最小值，设为$M(i^{\ast },j^{\ast }),(i^{\ast }<j^{\ast })$，则进行合并（向编号小的合并）：

• 将$C_{j^{\ast }}$并入$C_{i^{\ast }}$，第13句。
• 第$j^{\ast }+1$簇及之后的簇编号向前递进一位（对应于表中的第$j^{\ast }$后续列左移、行上移），第14-16句。
• 矩阵中与$j^{\ast }$相关的删除：去掉第$j^{\ast }$行、第$j^{\ast }$列，第17句。
• 矩阵中与$i^{\ast }$相关的重新计算$M$，第18-21句。

反复执行上述操作，直到簇数$q$降直设定的值$k$。

需要指出的是算法对“距离”的选用并没有作限制，即可取（7、有趣的距离与范数）中定义的集合间的距离，不同的距离对算法有不同的影响，
如图9.2所示，左图以簇间样本的最小距离作为簇间距离（虚线所示），右图以簇间样本的最大距离作为簇间距离（虚线所示）。

图9.2 簇间距离

【西瓜书图9.11】AGNES算法中第12、13句找距离最近的两簇进行合并，当簇间距离依“最小距离”定义时，距离最近的两簇为$A$和$B$，即$A$和$B$合并；
当簇间距离依“最大距离”定义时，距离最近的两簇为$A$和$C$，即$A$和$C$合并。

如图9.2所示，左图中当$A$的左端向左或$B$的右端向右延伸，最小距离法并没有去限定，这时，最小距离法会使合并后的簇中样本间的方差变大。 即最小距离法没有考虑簇的“体量”，而最大距离法则考虑簇的“体量”，右图中当$A$的左端向右或$B$的右端向左压缩后，会使得$A$与$B$的距离变小，从而导致$A$与$B$合并。

在算法中若取$k=1$，则归并过程形成一个“树状图”【西瓜书图9.12】所示。 它可看作数据集的关于“距离”度量的结构图。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：9.4 高斯混合模型EM算法详细推导
下一篇：10.1 k近邻算法（你是住在穷人区还是富人区？）