数据质量监控

https://www.cnblogs.com/benchen/p/5852963.html

1. 数据质量的定义
   • 从数据使用者的角度定义，高质量的数据应该是能充分满足用户使用要求的数据。
2. 数据质量的标准
   • 1：及时性：数据获取是否及时，主要指数据提取、传送、转换、加载、展现的及时性。在数据处理的各个环节，都会涉及到及时性。我们一般考虑两个方面第一就是接口数据是否能够及时的抽取过来。第二就是展现层能否及时的展现出来。

   • 2：完整性：是指数据是否完整，描述的数据要素，要素属性及要素关系存在或不存在，主要包括实体缺失、属性缺失、记录缺失以及主外键参照完整性的内容。

   • 3：一致性：第一就是原始数据即文件接口和入库的数据记录条数是一致的。第二就是同一指标在任何地方都应该保持一致。

   • 4：有效性：描述数据取值是否在界定的值域范围内，主要包括数据格式、数据类型、值域和相关业务规则的有效性。

   • 5：准确性：主要是指指标算法、数据处理过程的准确性。这个准确性主要是通过元数据管理中定义的指标的算法、数据处理顺序和人工检查相结合的方式来保证。
3. 数据仓库中数据质量检查
   • 接口数据的检查。接口数据主要有文件和数据库
     • 接口内容本身的数据质量问题： 及时性，有效性，完整性
     • 文件接口采集程序的监控：文件接口采集程序是否正常启动，正常结束等
   • 数据仓库层面的数据
     • 数据处理过程监控：是否按时调度，是否成功。
     • 关键指标的检查：
       • 基础指标的检查
         • 数值检查：主要是通过检查单个指标的数值来发现指标的异常和突变等情况。这里需要设置相应的阀值来进行。
         • 波动检查：主要是同比或者环比的检查。先计算指标的同比或环比波动率，然后与预定的波动率上下限（阈值）进行比较。
         • 关联检查：对两个存在关联关系的指标（如同增、同减正关联关系），分析变化和波动情况。 
         • 平衡检查：通过对若干个指标值的简单四则运算（加、减、乘、除），来检验各个指标间潜在的平衡或其他比较关系。
       • 加权波动检查：通过对单个指标的基础检查结果和影响因素的加权计算分析，综合检查指标的波动和变化情况。
4. 数据质量的评测流程
   • 数据质量需求分析
   • 确定评价对象和范围
   • 选取数据质量维度及评价标准
   • 确定质量测度及评价方法
   • 运用方法进行评价
   • 结果分析和评级
   • 质量结果和报告
5. 数据质量的评估方法
   • 基本概念
     • 模型M=<D，I，R，W ，E，S>
     • D（Dataset）是需要进行评估的数据集
     • I（Indicator）数据集D上需要进行评估的指标，如完整性、准确性、一致性等
     • R（Rule）与评估指标相对应的规则
     • W（Weight）赋予规则R的权值(大于0的整数)，描述了该规则在所有规则中所占的比重。
     • E（Expectation）对规则R给出的期望值(介于0到100之间的实数)，是在评估之前对该规则所期望得到的结果。
     • S（reSult）规则R对应的最终结果(介于0到100之间的实数)，是在检测该规则后所得的结果。
       • • 

            

   • 构造技术

     • 构造数据质量评估模型要经过4个步骤：确定数据集评估应用视图，选择评估指标，制定规则集，计算规则结果得分。

     • 下面将结合具体的实例来说明如何构造数据质量评估模型。

       • 

       • 1、确定数据集评估应用视图

         在进行数据质量评估时，首先要提出数据质量评估的需求，要确定哪些数据是用户感兴趣的(包括数据库、数据库中的数据集和数据集上的字段)，对它们建立对应的用户视图。

         2、选择评估指标

         对于每个给定的数据集，选择所需要的评估指标： 对于Customer，选择完整性和有效性两个指标。

         3、制定规则集

         根据选择的评估指标，制定数据质量评估规则，并确定它们相应的权值和期望值。对于Customer，针对完整性和有效性指标制定以下规则：

         (1)ID 非空(权值：5，期望值：90)：完整性

         (2)ID长度为18位(权值：10，期望值：90)：准确性

         (3)Sex值为 F 或 M (权值：10，期望值：98)：有效性

         4、计算规则结果得分

         对于规则集中的每条规则R，检查数据集上的数据实例，计算满足R的数据元组的百分比，得到R对应的结果S。计算数据元组总数的百分比，就是最终结果：假设它们的结果分别为95，90，90。

       • 

 

 

参考

http://www.chinaz.com/web/2012/1112/281738.shtml

http://blog.sina.com.cn/s/blog_66239fdb0100z9yf.html

http://www.5ykj.com/Article/xslwqygl/98050.htm

转载于:https://www.cnblogs.com/kevinlucky/p/11413760.html