聚类是一种无监督学习,它通过对无标记训练样本的学习来寻找这些数据的内在性质。
聚类的思想:将数据集划分为若干个不相交的子集(簇),每个簇对应一类,但通常聚类算法不会告诉你这些簇分别代表什么意义,只是这样分成这些不相交的簇。
聚类的作用:
- 作为一种探索性分析方法,分析数据的内在性质,寻找数据的分布规律
- 作为分类的预处理过程,并不直接数据分析,首先对需要分类的数据进行聚类,然后对聚类出的结果的每个簇上,进行分类,实现数据的预处理
一. 聚类的有效性指标
聚类的有效性指标(Cluster Validity Index,CVI)用来度量聚类的效果。希望相似的样本尽量在同一簇,不相似的样本尽量在不同的簇。
聚类的有效性指标分为两类:1. 外部指标:由聚类结果与某个参考模型进行比较 2.内部指标:直接参考聚类结果,并不利用任何参考模型
二. 距离度量
1. 闵可夫斯基距离