1.1数据清洗的背景
1.1.1 数据质量概述
数据质量是指在业务环境下,数据符合数据消费者的使用目的,能满足业务场景具体需求的程度。(但在不同的业务场景中,数据消费者对数据质量有各自不同的观点)
数据质量的显著特点如下:①“业务需求”会随时间变化,数据质量也会随时间反生变化。②数据质量可以借助信息系统量度,但独立于信息系统存在。③数据质量存在于数据的整个生命周期,随着数据的产生而产生,随着数据的消失而消失。
1.1.2 数据质量的评价指标
数据质量的评价指标主要包括数据的准确性、完整性、简洁性及适用性,其中数据的准确性、完整性和简洁性是为了保证数据的适用性,适用性是评价数据质量的重要标准。建立数据仓库的目的是进行数据挖掘。
1.1.3 数据质量的问题分类
(1)、基于数据源的“脏”数据分类
通常,情况下将数据源中不完整、重复以及错误等有问题的数据称为“脏”数据。基于数据源的“脏”数据质量问题可以分为单数据源问题和多数据源问题。
(2)、基于清洗方式的“脏”数据分类
基于数据源的“脏”数据分类方法需要为每种类型的“脏”数据设计单独的清洗方式。从数据清洗方式的设计者角度看可以将“脏”数据分为“独立型“脏”数据”和“依赖型“脏”数据”。其中,“独立型“脏”数据”包括单数据源和多数据源所有模式层及大多数实例层的数据质量问题;依赖型“脏”数据包括缺失数据和重复数据等“脏”数据。
常见的数据质量问题主要包括缺失值、重复值以及错误值等问题。
1.2数据清洗的定义
数据清洗技术是提高数据质量的有效方法。这项技术是个较新的研究领域,对大数据集的清洗工作需要花费很长的时间。由