数据挖掘学习笔记——第一次
本博客材料源于《数据之魅:基于开源工具的数据分析》
第二章:单一变量的形状和分布
处理单变量数据,我们更关注分布的总体形状。
一般有以下几个基本问题:
- 数据点分布在哪些地方?数据点分布所具有的代表性
- 数据点的分布具有特征吗?是集中的还是聚集的
- 数据点一共有多少?
- 数据分布是否对称?就是数据分布的形状
- 是否有聚类?聚类有几个?聚类的含义是什么
- 数据集中有无异常数据
- 数据集中有无其他不寻常的特征,比如异常值之类的。
针对单一变量,在EXCEL上就是一列数据,直观上我们倾向于把这些列数据按照index次序在二维平面上画成一条折线。
这种方法直观方便,在很多时候是可以的。但是这种简单的按照index来排序的方法之不是在画图而已。
想要找到单一变量的数据值分布情况,需要采取别的办法:
- 抖动图
- 直方图
- 核密度估计
抖动图
面对离散数据数据,可以先采用离散数据连续化的方法,将离散数据的每一类标号,记录每一种固定数据值的数量,这种办法在文本数据上很常见。
面对较为固定的数据,抖动图是很好的方法,它可以让数据之间不那么拥挤。
抖动图的实现方式
直方图
面对一列数据,我们很自然想要使用折线图,但是折线图不美观而且经常不能反应数据的分布,于是我们可以采用直方图。
直方图就是将数据范围划分成若干个区间,统计这若干个区间内的点数量,之后再表现在二维坐标上。
直方图要点:
区间的宽度和区间的对齐方式。
宽度太宽,将会消除数据分布的特异性;太狭窄,则会消除数据分布的内在本质。
区间对齐虽然有影响,但是不大,所以先不讨论了
直方图绘制
核密度估计KDE
核密度估计不需要考虑直方图的区间宽度和对齐方式。
核密度估计就是使用一个核函数——一个平滑的峰值突出的函数——放在每一个数据点的位置上。然后将所有核函数的作用效果叠加,获得一条光滑的曲线。
一般使用高斯核函数