聚类评价指标S_Dbw及其python实现

介绍

最近看了一篇文章，Yanchi Liu等人比较了各个聚类评价指标(例如??, ?, ??, ??以及S_Dbw等等)，在一些有着不同挑战的数据集上(例如有噪声，密度不均，某几类挨得比较近等等问题)，比较了几种评价指标选择不同聚类算法中超参的能力。

有问题的数据点示例

其中比较结果如下:

列代表不同的聚类评价指标，行代表数据集中存在的不同扰动挑战，其中标志x代表该评价指标对这种扰动选择聚类的超参失效了，符号-代表没有对该种情况进行测试，观察可以发现评价指标S_Dbw对于各种噪声，不同密度的数据集等等干扰项来选择超参的鲁棒性最强，网上搜了下没有相关的实现，自己实现了下， python代码在这里。

S_Dbw

S_Dbw是由两项组成，分别是簇间密度($(1.1)$)和簇内方差($(1.2)$)，使用它评价选取不同参数下的聚类算法结果时，取S_Dbw值最小的一组参数即可。

$$Dens\_bw(c)=\frac{1}{c\cdot (c-1)}\sum _{i=1}^n(\sum _{\genfrac{}{}{0ex}{}{j=1}{i̸=j}}^c\frac{density(u_{ij})}{\max (density(v_i),density(v_j))})\text{\hspace{1em}(1.1)}$$

$$Scat(c)=\frac{1}{c}\sum _{i=1}^c\frac{\Vert \delta (v_i)\Vert }{\Vert \delta (S)\Vert }\text{\hspace{1em}(1.2)}$$

参考文献

• Clustering Validity Assessment: Finding the optimal partitioning of a data set

• Understanding of Internal Clustering Validation Measures