第一章 数据清洗概述

前言

	近年来，大数据技术掀起了计算机领域的一个新浪潮，无论是数据挖掘、数据分析、数据可视化，还是机器学习、人工智能，它们都绕不开“数据”这个主题。
	由于海量数据的来源是广泛的，数据类型也是多而繁杂的，因此数据中会夹杂着不完整、重复以及错误的数据，如果直接使用这些原始数据，会严重影响数据决策的准确性和效率。因此，对原始数据进行有效的清洗是大数据分析和应用过程中的关键环节。

1、数据清洗的背景

	当今时代，企业信息化的要求越来越迫切。对于企业的决策者来说，正所谓“垃圾进垃圾出( garbage in, garbage out)”--如果作为决策支持的数据仓库存放的数据质量达不到要求将直接导致数据分析和数据挖掘不能产生理想的结果，甚至还会产生错误的分析结果，从而误导决策。因此，我们需要对数据仓库中的数据进行相关清洗操作，得出可靠、可准确反映企业实际情况的数据，用以支持企业战略决策。

1.1数据质量的概述

	数据质量是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度。
	从适用性的角度看，数据质量是一个相对的概念（与决策有关）。不同的决策者对数据质量的高低要求也是不同的。对于一个无关的数据，即使质量很高，对决策也起不到任何作用。
	数据质量的显著特点如下。
	·“业务需求”会随时间变化，数据质量也会随时间发生变化。
	·数据质量可以借助信息系统度量，但独立于信息系统存在。
	·数据质量存在于数据的整个生命周期，随着数据的产生而产生，随着数据的消失而消失

1.2数据质量的评价标准

	数据质量的评价指标主要包括数据的准确性( accuracy)、完整性( completeness)、简洁性( concision)及适用性( applicability),其中数据的准确性、完整性和简洁性是为了保证数据的适用性。下面针对数据质量的主要评价指标进行详细的介绍。
	1.准确性
	数据的准确性就是要求数据中的噪声尽可能少。为提高数据的准确性，需对数据集进行降噪处理。对于数据中偏离常规、分散的小样本数据，一般可视为噪声或异常数据，可通过最常用的异常值检测方法聚类进行处理。
	2.完整性
	完整性指的是数据信息是否存在缺失的状况。数据缺失的情况可能是整条数据记录缺失，也可能是数据中某个字段信息的记录缺失。不完整的数据所能借鉴的价值会大大