数据质量管理

大数据已经从由刚刚的只关注集群安装部署使用的基础层级，逐步演化关注性能，稳定性，监控及自动故障处理。
正所谓饱暖思质量，平台业务稳定之后，开始以盈利为目的的商业化。在这过程数据质量及数据质量管理越来越受关注，因为数据质量得不到保证，很多分析就毫无意义。
现在也有很多开源的框架关注数据质量这块，比如：grifin。grifin太繁琐了，依赖的内容比较多。浪尖相信随着大家对数据质量管理d的关注针对数据质量的框架会有越来越多的框架
浪尖这里是基于flink自己开发了一套数据质量管理系统，还在完善中，今天先谈谈数据质量监控的基本概念吧。

数据质量管理（Data Quality Management），是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。

数据质量管理是循环管理过程，其终极目标是通过可靠的数据提升数据在使用中的价值，并最终为企业赢得经济效益。

质量评估

由于数据清洗（DataCleaning）工具通常简单地被称为数据质量（Data Quality）工具，因此很多人认为数据质量管理，就是修改数据中的错误、是对错误数据和垃圾数据进行清理。这个理解是片面的，其实数据清洗只是数据质量管理中的一步。数据质量管理（DQM），不仅包含了对数据质量的改善，同时还包含了对组织的改善。针对数据的改善和管理，主要包括数据分析、数据评估、数据清洗、数据监控、错误预警等内容；针对组织的改善和管理，主要包括确立组织数据质量改进目标、评估组织流程、制定组织流程改善计划、制定组织监督审核机制、实施改进、评估改善效果等多个环节。

任何改善都是建立在评估的基础上，知道问题在哪才能实施改进。通常数据质量评估和管理评估需通过以下几个维度衡量。

数据质量评估

完整性 Completeness：完整性用于度量哪些数据丢失了或者哪些数据不可用。

规范性 Conformity：规范性用于度量哪些数据未按统一格式存储。

一致性 Consistency：一致性用于度量哪些数据的值在信息含义上是冲突的。

准确性 Accuracy：准确性用于度量哪些数据和信息是不正确的，或者数据是超期的。

唯一性 Uniqueness：唯一性用于度量哪些数据是重复数据或者数据的哪些属性是重复的。

关联性 Integration：关联性用于度量哪些关联的数据缺失或者未建立索引。

评估维度

配置管理 Config Management：此维度用于度量数据在其生命周期内的一切资源是否得到了控制和规范，即数据的计划、产生、变更直至消亡的过程中，与数据相关的计划、规范、描述是否收到控制。评估指标包括：评估配置项的细化粒度、评估基线准确度和频度以及变更流程是否合理完善等。

培训 Training：此维度用于度量数据的生产和使用者在数据生命周期内的一切活动中是否经过了知识和技能的培训、培训效果是否满足岗位需要；受训的知识和技能是否经过审核和确认，受训的内容是否与企业文化和价值观一致；培训流程是否合理完善等；

验证和确认 Verify & Validation：此维度用于度量数据在其生命周期内是否得到验证和确认。评估内容包括是否通过验证流程确保工作产品（数据）满足指定的要求、是否通过“确认”流程保证工作产品（数据）在计划的环境中满足使用的要求；“验证”和“确认”的流程是否完善；

监督和监控 Monitoring：此维度用于度量产生和使用数据的流程在数据的整个生命周期内是否真正受控。脱离监控的信息、技术、计划、流程、制度，会导致数据质量低下。监督和监控的流程是否完善。

影响因素

影响数据质量的因素主要来源于四方面：信息因素、技术因素、流程因素和管理因素。

信息因素：产生这部分数据质量问题的原因主要有：元数据描述及理解错误、数据度量的各种性质（如：数据源规格不统一）得不到保证和变化频度不恰当等。

技术因素：主要是指由于具体数据处理的各技术环节的异常造成的数据质量问题。数据质量问题的产生环节主要包括数据创建、数据获取、数据传输、数据装载、数据使用、数据维护等方面的内容。

流程因素：是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题，主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节。

管理因素：是指由于人员素质及管理机制方面的原因造成的数据质量问题。如人员培训、人员管理、培训或者奖惩措施不当导致的管理缺失或者管理缺陷。

数据质量管理的层次

数据质量管理可分为人工比对、程序比对、数据质量管理可分为人工比对、程序比对、统计分析三个层次。

1．人工比对

为了检查数据的正确性，测试人员打开相关数据库，对转换前和转换后的数据进行直接的比对，发现其不一致性，通知相关人员进行纠正。

2．程序比对

为了自动化地检查数据的质量，更好地进行测试对比，程序员编写查询比对程序给测试人员使用。测试人员使用此程序对转换前和转换后的数据进行比对，发现其不一致性，通知相关人员进行纠正。

3．统计分析

为了更加全面地从总体上检查数据的质量，需要通过统计分析的方法，主要通过对新旧数据不同角度、不同视图的统计对数据转换的正确程度进行量化的分析，发现其在某个统计结果的不一致性，通知相关人员进行纠正。

方法与步骤

熟悉六西格玛管理的人应该知道，六西格玛强调以事实驱动管理。但事实是用数据说话。映射到六西格玛管理方法，MTC-DQM推荐采用十步数据质量管理方法。

1. 定义和商定问题、时机和目标，以指导整个数据质量管理的工作。

2. 收集、汇总、分析有关形式和信息环境。设计捕获和评估的方案。

3. 按照数据质量维度对数据质量进行评估。

4. 使用各种技术评估劣质数据对业务产生的影响。

5. 确定影响数据质量的真实原因，并区分这些原因的影响的数据质量的级别。

6. 最终确定行动的建议，为数据质量改善制定方案，包括数据级和组织级的。

7. 建立数据错误预防方案，并改正当前数据问题。

8. 通过改进组织管理流程，最大限度控制由管理上的缺陷造成的数据质量问题。

9. 对数据和管理实施监控，维护已改善的效果。

10.沟通贯穿管理始终，循环的评估组织管理流程，以确保数据质量改善的成果得到有效保持。