数据挖掘学习笔记1

数据挖掘学习笔记——第一次

本博客材料源于《数据之魅：基于开源工具的数据分析》

第二章：单一变量的形状和分布

处理单变量数据，我们更关注分布的总体形状。
一般有以下几个基本问题：

1. 数据点分布在哪些地方？数据点分布所具有的代表性
2. 数据点的分布具有特征吗？是集中的还是聚集的
3. 数据点一共有多少？
4. 数据分布是否对称？就是数据分布的形状
5. 是否有聚类？聚类有几个？聚类的含义是什么
6. 数据集中有无异常数据
7. 数据集中有无其他不寻常的特征，比如异常值之类的。

针对单一变量，在EXCEL上就是一列数据，直观上我们倾向于把这些列数据按照index次序在二维平面上画成一条折线。

这种方法直观方便，在很多时候是可以的。但是这种简单的按照index来排序的方法之不是在画图而已。

想要找到单一变量的数据值分布情况，需要采取别的办法:

1. 抖动图
2. 直方图
3. 核密度估计

抖动图

面对离散数据数据，可以先采用离散数据连续化的方法，将离散数据的每一类标号，记录每一种固定数据值的数量，这种办法在文本数据上很常见。

面对较为固定的数据，抖动图是很好的方法，它可以让数据之间不那么拥挤。

抖动图的实现方式

直方图

面对一列数据，我们很自然想要使用折线图，但是折线图不美观而且经常不能反应数据的分布，于是我们可以采用直方图。

直方图就是将数据范围划分成若干个区间，统计这若干个区间内的点数量，之后再表现在二维坐标上。

直方图要点：

区间的宽度和区间的对齐方式。

宽度太宽，将会消除数据分布的特异性；太狭窄，则会消除数据分布的内在本质。

区间对齐虽然有影响，但是不大，所以先不讨论了

直方图绘制

核密度估计KDE

核密度估计不需要考虑直方图的区间宽度和对齐方式。

核密度估计就是使用一个核函数——一个平滑的峰值突出的函数——放在每一个数据点的位置上。然后将所有核函数的作用效果叠加，获得一条光滑的曲线。

一般使用高斯核函数

选择最优带宽

实现Gaussian KDE

未完待续