第一章 数据清洗概述（知识点总结）

一、数据清洗的背景

1.1 数据质量概述

  数据质量是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度。（但在不同的业务场景中，数据消费者对数据质量有各自不同的观点）

  数据质量的显著特点如下：①“业务需求”会随时间变化，数据质量也会随时间反生变化。②数据质量可以借助信息系统量度，但独立于信息系统存在。③数据质量存在于数据的整个生命周期，随着数据的产生而产生，随着数据的消失而消失。

1.2 数据质量的评价指标

  数据质量的评价指标主要包括数据的准确性、完整性、简洁性及适用性，其中数据的准确性、完整性和简洁性是为了保证数据的适用性，适用性是评价数据质量的重要标准。建立数据仓库的目的是进行数据挖掘、支持决策分析。

1.3 数据质量的问题分类

①基于数据源的“脏”数据分类 

  通常，情况下将数据源中不完整、重复以及错误等有问题的数据称为“脏”数据。基于数据源的“脏”数据质量问题可以分为单数据源问题和多数据源问题。

②基于清洗方式的“脏”数据分类

  基于数据源的“脏”数据分类方法需要为每种类型的“脏”数据设计单独的清洗方式。从数据清洗方式的设计者角度看可以将“脏”数据分为“独立型“脏”数据”和“依赖型“脏”数据”。其中，“独立型“脏”数据”包括单数据源和多数据源所有模式层及大多数实例层的数据质量问题；依赖型“脏”数据包括缺失数据和重复数据等“脏”数据。

  常见的数据质量问题主要包括缺失值、重复值以及错误值等问题。

二、数据清洗的定义

  数据清洗技术是提高数据质量的有效方法。数据清洗主要应用于3个领域，即数据仓库、数据挖掘领域以及数据质量管理领域。在数据仓库领域中，当多个数据库合并时或多个数据源进行集成时，都需要进行数据清洗。在数据挖掘领域中，数