数据质量建设

1.1概述

①产品有产品质量，数据有数据的质量，那么什么是数据质量，相比较产品质量来理解，并且结合数据的特性，我个人理解其实所谓的数据质量就是数据的正确性、合理性。
②数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期，只有达到数据的使用预期才能给予管理层正确的决策参考。数据质量管理作为数据仓库的一个重要模块，主要可以分为数据的健康标准量化、监控和保障。

1.2. 数据质量标准分类

① 数据完整性: 数据不存在大量的缺失值、不缺少某一日期/部门/地点等部分维度的数据，同时在ETL过程当中应保证数据的完整不丢失。验证数据时总数应符合正常规律时间推移，记录数总数的增长符合正常的趋势。
② 数据一致性: 数仓各层的数据，应与上一层保持数据一致，最终经过数据清洗转化（ETL）的宽表/指标能和数据源保持一致。
③ 数据不重复性：一个数据集当中同一条数据记录不能出现多次，数据不能大量重复冗余，保证数据的唯一性。