第一章 数据清洗概述学习笔记

  数据中夹杂着不完整、重复、以及错误的数据，如果直接使用这些原始数据，会严重影响数据决策的准确性和效率。因此对原始数据进行有效的清洗是大数据分析和应用过程中的关键环节。

1.1 数据清洗的背景

1.1.1 数据质量概述

  数据质量是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度。但是在不同场景下，数据消费者对数据质量有不同的观点。

1.1.2 数据质量的评价指标

  数据质量的评价指标主要包括数据的准确性、完整性、简洁性以及适用性，其中数据的准确性、完整性和简洁性是为了保证数据的适用性。

  从数据的实际效用上讲，适用性才是评价数据质量的核心准则。

1.1.3 数据质量的问题分类

  数据质量的问题可以分为两类：一类是基于数据源的“脏”数据分类；另一类是基于清洗方式的“脏”数据分类。

  1.基于数据源的“脏”数据分类

图1.1.3.1 基于数据源的“脏”数据分类

  2.基于清洗的“脏”数据分类