【读书笔记-数据挖掘概念与技术】数据预处理

数据预处理的目的：提高数据质量，数据质量的三要素：准确性、完整性、一致性。

数据预处理的任务：

• 数据清理
• 数据集成
• 数据规约
• 数据变换

数据清理——填充缺失的值、光滑噪声、识别离群点、纠正数据中的不一致

• 缺失值：

1. 忽略元组
2. 人工填写缺失值
3. 使用一个全局常量
4. 使用属性的中心度量
5. 使用与给定元组属同一类的所有样本的属性均值或中位数
6. 使用最可能的值（最流行）

• 噪声数据

1. 分箱
2. 回归
3. 离群点分析

数据集成——合并来自多个数据存储的数据

• 实体识别问题
• 冗余和相关分析
• 元组重复
• 数据值冲突的监测与处理

数据规约——得到数据集的规约表示，但仍接近于保持原始数据的完整性

• 数据规约策略概述

1. 维归约
2. 数量规约
3. 数据压缩

• 小波变换——线性信号处理技术，适合高维数据(http://hi.baidu.com/qingshuangcii/item/31e8831e65350dde64eabf4c)
• 主成成分分析——一种维归约方法，适合稀疏数据
• 属性子集选择
• 回归和对数线性模型：参数化数据规约
• 直方图
• 聚类
• 抽样
• 数据立方体聚集

数据变换与数据离散化——数据被变换或统一成适合于挖掘的形式，更容易理解

• 数据变换的策略概述
• 规范化
• 分箱离散化
• 直方图分析离散化
• 聚类、决策树和相关分析离散化
• 标称数据的概念分层