数据清洗的概述

一:数据清洗的背景

近年来，大数据技术掀起了计算机领域的-个新浪潮，无论是数据挖掘、数据分析、数据可视化.还是机器学习、人工智能，它们都绕不开“数据"这个主题。从统计学家到软件开发人员，再到图形设计师，越来越多的人对数据科学产生了兴趣。廉价的硬件、可靠的数据处理工具和数据可视化工具以及海量的数据这些资源使我们能够轻松地、精确地发现趋势、预测未来。

由于海量数据的来源是广泛的，数据类型也是多而繁杂的,因此数据中会夹杂着不完整、重复以及错误的数据，如果直接使用这些原始数据，会严重影响数据决策的准确性和效率。因此,对原始数据进行有效的清洗是大数据分析和应用过程中的关键环节。当今时代，企业信息化的要求越来越迫切。对于企业的决策者来说，正所谓“垃圾进垃圾出(garbagein.garbageout)”如果作为决策支持的数据仓库存放的数据质量达不到要求，将直接导致数据分析和数据挖掘不能产生理想的结果，甚至还会产生错误的分析结果，从而误导决策。因此，我们需要对数据仓库中的数据进行相关清洗操作,得出可靠、可准确反映企业实际情况的数据,用以支持企业战略决策。由此可见，数据质量在企业战略决策中占据着重要的地位。

总而言之,原始数据是不能满足我们的需要,不能完成我们的目的,不能更哈德服务我们,所以我们需要数据清洗.

1.数据质量的概述

 1)所谓数据质量,是指在业务环境下,数据符合数据消费者的使用目的,能满足业务场景的具体需求的程度.