无处不在的数据及处理方法简介

数据无处不在，数据的形式也多种多样，在这篇文章主要说一下数据的一些特征和常用的一些处理方法。这里引用一句在《Matlab技术论坛数据挖掘公开课》中看到的：

干渴的水手，看到海水也能满足他们对水的渴望  ------Rime of Ancient Mariner《老水手之歌》

  搞数据的人，看到数据，也就看到信息的期待。根据公开课，本文分了3个部分，就个人的理解，进行了一些总结：

1.数据结构与类型

属性类型	描述	例子	操作
分类（定性）	标称	邮编、ID、眼球颜色、gender	众数、熵、列联相关、卡方
	序数	成绩（好，较好，良好）	中值，百分位数，秩相关、 游程检验、符号检验
数值（定量）	区间	日历日期、摄氏	均值、标准差、皮尔森相关、 t和F检验
	比率	绝对温度、货币量、计数、年龄、质量、长度	几何平均、调和平均、百分比变差

离散：有限或者无限可能个值 比如：二元（0、1）

连续：取实数值（温度、高度、重量等）

2.数据的特征

（1）维度

（2）稀疏性

（3）分辨率

3.数据质量

（1）特殊的列

a.只有一种值的“列”

这类的信息对于建模是没有贡献信息的，应该忽略他们

b.几乎只含一种值的列

数据偏态，一般以均值为参考点，如果大多数值分布在均值左边，则称为右偏；如果大多数值分布在均值的右边，则称为左偏。这类数据，一般按照拇指法则，如果一个数据95%~99%的值都相同，那么就应该忽略它。

c.列的值各不相同

不能直接用为特征，但是可以从中衍生出一些有用的特征，比如：地址（地址信息一般是唯一的，但是可以提取出地方等信息）

（2）测量误差和数据收集错误

（3）噪声和伪像

噪声是测量误差的随机部分，可能涉及值的扭曲和附加的谬误对象

  伪像：是一种更确定性的现象，比噪声更有规律，比如：一组照片同一地方的条纹

（4）离群点

  异常对象或异常值，主要处理方案：

1.漠然处之，直接交给算法处理（比如：决策树）

2.滤掉含有离群点的行 不推荐---歧视性抽样

3.忽略相应的列

4.采用预测值，用其余列的值来预测缺失的列中的数据（比如：0，平均值，极大极小值）

5.对数据做等高分组，比如：（身高，收入等）---这个比较推荐，在更高的维度中处理掉离群点

（5）缺失数据

处理方案：

1.漠然处之，交给算法处理

2.滤掉含有缺失值的行

3.忽略相应的列 减少一维/用一个显示数据是否缺失的标示变量替代

4.采用预测值，用其余列的值来预测缺失列中的数据---比较推荐

5.建立独立的模型---比较推荐

6.更改运作系统(不实用)

4.数据挖掘预处理

1.聚集

将两个或者多个对象合并成单个对象，通过聚集，可以减少内存的使用和处理时间，通过高层的视图对低层的数据有更好的解释性，及属性的稳定性。

2.抽样

1.简单随机抽样：无放回抽样、有放回抽样

2.分层抽样

3.分组抽样

3.维规约

通过维规约的技术，比如：PCA、LDA、SVD等方法，通常通过规约，删除不相关的特征，去相关性，可以得到更好的效果，同时，模型更能理解，容易可视化，减低了数据挖掘算法的时间和内存要求。

4.特征子集选择

从特征集中，选择一个子集参与模型的建立，可以去掉一些冗余特征、不相关的特征

三种标准的特征选择方法：嵌入，过滤，包装

5.变量变换

用于变量的所有值的变换，比如简单函数：log(x)、1/x、sin(x)、|x|、e^x、x^k等

但是变量变换也可以改变数据的一些特性，所以要小心使用

规范化和标准化：x' = (x-xavg)/Sx