【记录资源&想法】如何评估聚类效果 i.e. Clustering performance evaluation/Clustering validity assessment.

UeFan

于 2020-05-05 01:31:46 发布

阅读量741

点赞数

分类专栏：随笔文章标签：聚类

本文链接：https://blog.csdn.net/fanyue1997/article/details/105804487

版权

本文探讨了聚类效果的评估方法，包括内部和外部聚类验证。内部验证不需要真实标签，关注数据本身的聚集度和分离度，如Silhouette指数。外部验证则利用额外信息，如真实类别数。研究表明，S_DBW和Silhouette指数在评估聚类质量时表现出色，且对噪声具有一定的鲁棒性。

摘要由CSDN通过智能技术生成

首先，sklearn的文档里有一些很老很老的方法的介绍，一般是需要gt_label，一般不需要，但是我看那些不需要真实标签的方法，都是在简单的测量聚类结果中每一个cluster的“聚集度”，感觉都很弱：https://scikit-learn.org/stable/modules/clustering.html#clustering-performance-evaluation

然后，看了这个知乎的帖子：https://www.zhihu.com/question/19635522，我感觉我接下来要探索的方法，一类是用交叉验证的（cross-validation），一类是比较高级的聚类质量评估如S_DBW，聚类质量和聚类稳定性选做吧。

先从2010年“Understanding of Internal Clustering Validation Measures, Liu et al.” 这篇文章中看一下Internal/External clustering validation的定义吧：

External clustering validation and internal clustering validation are the two main categories of clustering validation. The main difference is whether or not external information is use