2021-03-25

概述
数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期。数据质量必须是可测量的，把测量的结果转化为可以理解的和可重复的数字，使我们能够在不同对象之间和跨越不同时间进行比较。 数据质量管理是通过计划、实施和控制活动，运用质量管理技术度量、评估、改进和保证数据的恰当使用。

数据质量维度
                                        

数据质量产生的根本原因
                                                          

 ​​​​​​数据质量战略
 大多数企业都没有一个数据战略，因为他们不理解其数据的价值，并且他们不认为数据是一个组织的资产，而把数据看作创建它的部门领域内的东西。

缺乏数据战略将导致脏数据、冗余数据、数据不一致、无法整合、性能底下、可用性差、责任缺失、用户日益不满意IT的性能。

数据质量战略12项指令 
指令主要分为三组，第一组着眼于数据在企业内的重要性，并需要由高级管理层来推动。第二组把制造实物产品的概念应用到数据上，它们应该由数据质量项目团队推动。第三组的重点是建设质量文化，以应对数据的流体性质并满足战略管理的持续挑战。

                                                          

 

数据质量测试框架

初步数据评估
初步评估通过数据剖析来完成的，数据剖析通常在准备把数据存入数据仓库是做一次，它是全面和跨数据集的，它描述了数据结构、内容、规则、和关系的概况。通过应用统计方法返回一组关于数据的标准特征，包括数据类型、字段长度、列基数、粒度、值域、格式模式、隐含的规则、跨列和跨表的数据关系，以及这些关系的基数。初步评估的目的是获得对数据和环境的了解，并对数据的状况进行描述。

数据剖析包括
                                                             

初步评估流程 
                          

初步评估的结果与交付成果 
                    

持续测量 
持续测量的重点是关键的或有风险的数据，并且以自动化的方式进行，持续测量的目标是： 

监控数据的状况，并为数据在何种程度上符合预期提供保障。
对数据或处理过程中的变化进行检测
制定改进数据的机会
持续测量流程
                                           

持续测量的结果与交付成果 
                         

过程控制 
控制是为了保持稳定而内置到系统中的反馈形式。控制可以检测出表明缺乏稳定性的状况，并基于观察结果采取操作。包括： 

                                            

定期测量 
针对非关键性数据和不适合持续测量的数据，定期重新评估为数据所处状态符合预期提供一定程度的保证。定期评估可以确保参考数据保持最新，关系依然稳定，并且业务和技术演进不会导致意外的数据更改。 

测试类型清单