数据清洗（黑马程序员）——第一章学习笔记

 1.1数据清洗的背景

      近年来,大数据技术掀起了计算机领域的一个新浪潮,无论是数据挖掘、数据分析、数据可视化，还是机器学习、人工智能,它们都绕不开“数据”这个主题。由于海量数据的来源是广泛的，数据类型也是多而繁杂的，因此数据中会夹杂着不完整、重复以及错误的数据,如果直接使用这些原始数据,会严重影响数据决策的准确性和效率。因此，对原始数据进行有效的清洗是大数据分析和应用过程中的关键环节。本章将针对数据清洗的相关知识进行讲解。
 

1.1.1数据质量概述

定义：数据质量是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度。（在不同的业务场景中，数据消费者对数据质量有各自不同的观点）

数据质量的显著特点如下:

“业务需求”会随时间变化，数据质量也会随时间发生变化；

数据质量可以借助信息系统度量，但独立于信息系统存在；

数据质量存在于数据的整个生命周期，随着数据的产生而产生，随着数据的消失而消失。

1.1.2数据质量的评价指标

（1）数据的准确性（accuracy);

   数据的准确性就是要求数据中的噪声尽可能小。如：对数据中偏离常规、分散的小样本数据（一    般可视为噪声或异常数据）通过常用的异常值检测方法聚类进行处理。

（2）数据的完整性（completeness）；

  完整性指的是数据信息是否存在缺失的状况。（有可能是整条数据记录缺失，也有可能是数据中    某个字段信息的记录缺失） 

（3）数据的简洁性（concision）；

  简洁性是指要尽量选择重要的本质属性，并消除冗余。

（4）数据的适用性（applicability);

  适用性是评价数据质量的的重要标准。

注：数据的完整性、准确性和简洁性是为了保证数据的适用性。

1.1.3数据质量的问题分类

（1）基于数据源的“脏”数据分类；（如图1所示）

“脏”数据是指数据源中不完整、重复以及错误等有问题的数据。

（2）基于清洗方式的“脏”数据分类。（如图2所示）

1.2数据清洗的定义

数据清洗技术是提高数据质量的有效方法。数据清洗主要应用于3个领域，及数据仓库领域、数据挖掘领域以及数据质量管理领域。

1.3数据清洗的原理 

数据清洗是利用相关技术将“脏”数据转换为满足质量要求的数据。下面通过一张图描述数据清洗的原理：（如图3所示）

注：数据清洗的目的是解决“脏”数据问题，即不是将“脏”数据洗掉，，而是将“脏”数据洗干净。干净的数据是指满足质量要求的数据。

1.4数据清洗的基本流程

数据清洗的基本流程一共分为5个步骤，分别是数据分析、定义数据清洗的策略和规则、搜索并确定错误实例、纠正发现的错误以及干净数据回流。（如图4所示）

 数据分析:数据分析是数据清洗的前提和基础，通过人工检测或者计算及分析程序的方式对原始数据源的数据进行检测分析，从而得出原始数据源中存在的数据质量问题。

定义数据清洗的策略和规则：根据数据分析出的数据源个数和数据源中“脏”数据程度定义数据清洗策略和规则，并选择合适的数据清洗算法 。

搜寻并确定错误实例：包括自动检测属性错误和检测重复记录的算法。

纠正发现的错误：根据不同的“脏”数据存在形式的不同，执行相应的数据清洗和转换步骤解决原始数据源中存在的质量问题。具体如下：

（1）从原始数据源的属性字段中抽取值（属性分离）；

（2)确认并改正；

（3）标准化。

干净数据回流：当数据被清洗后，干净的数据替代原始数据中的“脏”数据，这样可以提高信息系统的数据质量，还可避免将来再次抽取数据后进行重复的清洗工作。

1.5数据清洗的策略

目前数据清洗的策略主要分为一般的数据清洗策略和混合的数据清洗策略。

一般的数据清洗策略：（1）手工清洗策略；

                                    （2）自动清洗策略；

                                    （3）特定应用领域的清洗策略；

                                    （4）与特定应用领域无关的清洗策略。

混合的数据清洗策略：混合的数据清洗策略主要以自动清洗为主。

1.6常见的数据清洗方法

（1）缺失值的清洗：

缺失值的清洗方法主要分为两类，即忽略缺失值数据和填充缺失值数据。

（2）重复值的清洗：

清洗重复值的方法主要有相似度计算和基于基本近邻排序算法。

（2）错误值的清洗：

错误值的清洗方法主要包括使用统计分析的方法识别可能的错误值(如偏差分析、识别不遵守分布或回归方程的值)、使用简单规则库(即常识性规则、业务特定规则等)检测出错误值、使用不同属性间的约束以及使用外部的数据等方法检测和处理错误值。

注：本文为学习《数据清洗--黑马程序员编著》第一章学习笔记。