姚某某
知乎专栏:https://zhuanlan.zhihu.com/mydata
这一节主要总结数据分析中聚类分析的思想。
聚类分析仅根据在数据中发现的描述对象及其关系的信息,将数据对象分组。其目标是,组内的对象相互之间是相似的(相关的),而不同组中的对象是不同的(不相关的)。组内相似性(同质)越大,组间差别越大,说明聚类就越好。
这一解释来自于《数据挖掘导论》,已经是大白话,很好理解了。
举个栗子:把生物按照界(Kingdom)、门(Phylum)、纲(Class)、目(Order)、科(Family)、属(Genus)、种(Species)分类。
0. 聚类分析的一般步骤
0.1. 步骤
选择适合的变量,选择可能对识别和理解数据中不同观测值分组有重要影响的变量。(这一步很重要,高级的聚类方法也不能弥补聚类变量选不好的问题)
缩放数据,一般将数据标准化处理即可,用于避免各种数据由于量纲大小不同所带来的不同
寻找异常点,异常点对聚类分析的结果影响很大,因此要筛选并删除
计算距离,后面再细讲,这个距离用于判别相关关系的大小,进而影响聚类分析的结果
选择聚类算法,层次聚类更适用于小样本,划分聚类更适用于较大数据量。还有许多其他的优秀算法,根据实际选择合适的。
得到结果,一是获得一种或多种聚类方法的结果,二是确定最终需要的类数,三是提出子群,得到最终的聚类方案
可视化和解读,用于展示方案的意义
验证结果
0.2. 计算距离