第三章 数据预处理
3.1 数据预处理
3.1.1 数据质量
数据质量涉及很多因素,包括准确性、完整性、一致性、时效性、可信性和可解释性。
3.1.2 数据预处理的主要任务
数据处理的主要步骤:数据清理、数据集成、数据归约和数据变换。数据清理通过填写缺失的值,光滑噪声数据,识别或删除离群点,并解决不一致性来清理数据。假设你想在分析中使用来自多个数据源的数据,这涉及集成多个数据库、数据立方体或文件,即数据集成。数据归约,得到数据集的简化表示,它小的多,但能够产生同样的(或几乎同样)的分析结果,数据归约包括维归约和数值归约。维归约使用数据编码方案,以便得到原始数据的简化或压缩表示,例如小波变换、主成分分析等;数值归约使用参数模型(回归和对数线性模型)或非参数模型(直方图、聚类、抽样或数据聚类),用较小的表示取代数据。数据变换主要有规范化、数据离散化和概念分层等形式。
3.2 数据清理
3.2.1 缺失值
缺失值的处理方法有:忽略元组、人工填写缺失值、使用一个全局常量填充缺失值、使用属性的中心度量填充缺失值、使用与给定元组同意类的所有样本属性的均值或中位数、使用最可能的值填充缺失值(利用回归、贝叶斯推理、决策树方法)。
3.2.2 噪声数据
什么是噪声?噪声就是被测量的变量的随机误差会方差。我们则怎样才能“光滑”数据、去掉噪声呢?主要的方法有分箱、回归、离群点分析等。
3.2.3 数据清理作为一个过程
数据清理过程第一步是偏差检测,第二步是数据变换。
3.3 数据集成
数据挖掘经常需要数据集成——合并来自多个数据存储的数据。
3.3.1 实体识别问题
3.3.2 冗余和相关分析
有些冗余是可以被相关分析检测到。给定两个属性,这种分析可以根据可用的数据,度量另一个属性能在多大程度上蕴含另一个。对于标称数据,我们使用卡方检验。对于数值属性,我们使用相关系数。
3.4 数据归约
数据归约技术可用来得到数据集的归约表示,它小的多,但接近于保持原始数据的完整性。也就是说,在归约后的数据集上挖掘更有效,仍然产生相同(或几乎相同)的分析结果。
维规约:减少锁考虑的随机变量或属性个数,主要包括小波变换和主成分分析。数量归约:用替代的、较小的数据表示形式替代元数据。数据压缩:使用变换,以便得到原数据的归约或“压缩”表示。
3.5 数据变换与数据离散化
3.5.1 通过规范化变换数据
规范化的主要方法有:最小-最大规范化;z分数规范化;小数定标规范化等。
3.5.2 通过分箱离散化
3.5.3 通过直方图离散化
3.5.4 通过聚类、决策树和相关分析离化
3.5.5 标称数据的概念分层产生
总结:
- 数据质量:用准确性、完整性、一致性、时效性、可信性和可解释性定义。
- 数据清理:例程试图填充缺失的值,光滑噪声同时识别离群点,并纠正数据的不一致性。数据清理主要包括偏差检验和数据变换。
- 数据集成:将来自多个数据源的数据整合成一致的数据存储。
- 数据归约:得到数据个归约表示,而使得信心内容的损失最小化。数据归约的方法包括维归约、数值归约和数据压缩。维归约减少所考虑的随机变量或维的个数,方法包括小波变换、主成分分析、属性子集选择和属性创建。数值归约方法使用参数或非参数模型,得到原始数据的较小表示,方法主要有回归和对数线性模型、直方图、聚类、抽样和数据立方体聚集等。数据压缩方法使用变换,得到原始数据的归约或“压缩”表示。
- 数据变换:例程将数据变换成适用于挖掘的形式。主要方法有规范化、数据离散化、概念分层。
- 数据离散化:通过把值映射到区间或概念标号变换数值数据。