独家 | 一文读懂数据质量和验证检查（附代码）

作者：Vinod Kumar 

翻译：季洋

校对：王雨桐

本文约1600字，建议阅读8分钟。

本文主要讲述关于数据质量和验证检查的实例，以及运用Apache Spark和Scala采用编码来确保数据质量是多么容易。

大数据和机器学习都是和数据打交道。因此，在系统中保持数据的正确性就非常重要。如果数据不准确，不仅仅会降低系统的效率，还会得到一些不恰当的观点。通过数据质量和验证是确保数据正确性的重要步骤之一。随着数据量的不断增加，噪声数据也随之而来，每天都要引入新的方法和检验以确保数据的质量。由于数据量巨大，需要考虑的另一件事是如何确保快速处理这些检查和验证；例如，一个系统采用高分布式的方法来遍历每一条进入系统的数据。本文将讲述关于数据质量和验证检查的一些例子，以及在Apache Spark和Scala的帮助下运用程序来确保数据质量是多么简单。

数据准确性：指的是观测结果和真实值或可接受为真的值之间的接近度。

• 空值: 包含空值（null）的记录。如： male/female/null

• 特定值: 某公司的ID号。