数据挖掘 Chapter 3 - 数据预处理

数据挖掘 Chapter 3 - 数据预处理

如何对数据进行预处理，提高数据的质量，从而提高挖掘结果的质量

数据质量有六个要素：准确性、完整性、一致性、时效性、可信性、可解释性

数据清理

缺失值常常被忽略、中心值填充等方式处理；噪声数据则被分箱、回归、离群点分析等方式回避

数据集成

合并来自多个数据存储的数据。可以使用实体识别确定等价实体；冗余性和相关性分析去除冗余数据

数据规约

数据规约有三种策略：维规约（降维，主成分分析、小波变换）；数量规约（使用贪心算法选择属性子集，聚类等方式参数化数据化约）；数据压缩

数据变换

数据变换的策略是光滑、属性构造、聚类、规范化、离散化和由标签数据产生概念分层。规范化、分箱、直方图、聚类等方式进行数据变换。从而使得挖掘的模式更加容易理解

reference

Han J. Data Mining: Concepts and Techniques[M]. 2005.