数据挖掘 Chapter 3 - 数据预处理
如何对数据进行预处理,提高数据的质量,从而提高挖掘结果的质量
数据质量有六个要素:准确性、完整性、一致性、时效性、可信性、可解释性
数据清理
缺失值常常被忽略、中心值填充等方式处理;噪声数据则被分箱、回归、离群点分析等方式回避
数据集成
合并来自多个数据存储的数据。可以使用实体识别确定等价实体;冗余性和相关性分析去除冗余数据
数据规约
数据规约有三种策略:维规约(降维,主成分分析、小波变换);数量规约(使用贪心算法选择属性子集,聚类等方式参数化数据化约);数据压缩
数据变换
数据变换的策略是光滑、属性构造、聚类、规范化、离散化和由标签数据产生概念分层。规范化、分箱、直方图、聚类等方式进行数据变换。从而使得挖掘的模式更加容易理解
reference
Han J. Data Mining: Concepts and Techniques[M]. 2005.