黑马程序员《数据清洗》学习总结​

  

前言

  由于海量数据的来源是广泛的，数据类型也是多而复杂的，因此数据中会夹杂着不完整  、重复 以及错误的数据 ，如果直接使用这些原始数据，会严重影响数据决策的准确性和效率。对原始数据进行有效的清洗是大数据分析和应用过程中的关键环节。

---

---

目录

1.1 数据清洗的背景

1.1.1 数据质量概述

1.1.2 数据质量的评价标准

1.1.3 数据质量的问题分类

1.2 数据清洗的定义

1.3 数据清洗的原理

1.4 数据清洗的基本流程

1.5 数据清洗的策略

1.6常见的数据清洗方法

---

  1.1数据清洗的背景  

  在大数据背景下，如果作为决策支持的数据仓库存放的数据达不到要求，将直接导致数据分析和数据挖掘不能产生理想的结果，甚至还会产生错误的分析结果，从而误导决策。因此，我们需要对数据仓库中的数据进行相关清洗操作，得出可靠、可准确反映企业实际情况的数据，用以支持企业战略决策。

1.1.1 数据质量概述

  数据质量 ：是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度。

  数据质量的三个显著特点：

  （1）“业务需求”会随时间变化，数据质量也会随时间发生变化。