《数据清洗》 第一章 数据清洗概述

由于海量数据的来源是广泛的,数据类型也是多而繁杂的,因此数据中会夹杂着不整、重复以及错误的数据,如果直接使用这些原始数据,会严重影响数据决策的准确性和效率。因此,对原始数据进行有效的清洗是大数据分析和应用过程中的关键环节。

目录

1.1 数据清洗的背景

1.2 数据清洗的定义

1.3 数据清洗的原理

1.4 数据清洗的基本流程

1.5 数据清洗的策略

1.6 常见的数据清洗方法

---

1.1 数据清洗的背景

1.1.1 数据质量概述

从适用性的角度看,数据质量是一个相对的概念(与决策无关)。不同的决策者对数据质量的高低要求也是不同的。对于一个无关的数据,即便质量很高,对决策也起不到任何作用。

数据质量的显著特点如下：

—— “业务需求”会随时间变化,数据质量也会随时间发生变化。

——数据质量可以借助信息系统度量，但独立于信息系统存在。

——数据质量存在于数据的整个生命周期,随着数据的产生而产生,随着数据的消失而消失。

1.1.2 数据质量的评价指标

数据质量的评价指标主要包括数据的准确性、完整性、简洁性及适用性，其中数据的准确性、完整性和简洁性是为了保证数据的适用性。

1.1.3 数据质量的问题分类

数据质量的问题可以分为两类：一类是基于数据源的“脏”数据分类；另一类是基于清洗方式的“脏”数据分类。

1.基于数据源的“脏”数据分类

基于数据源的“脏”数据质量问题可以分为单数据源问题和