不才伟才的博客

DCMM（Data Management Capability Maturity Assessment Model）数据管理能力成熟度评估模型是由中国国家标准化管理委员会于2018年3月15日发布，于2018年10月1日起实施的我国首个数据管理领域国家标准。该标准把组织内部数据能力划分为八个重要组成部分，描述了每个组成部分的定义、功能、目标和标准。本标准适用于信息系统的建设单位，应用单位等进行数据管理时候的规划，设计和评估。也可以作为针对信息系统建设状况的指导、监督和检查的依据。

日常工作中，数据开发工程师开发上线完一个任务后并不是就可以高枕无忧了，时常会因为上游链路数据异常或者自身处理逻辑的 BUG 导致产出的数据结果不可信。而这个问题的发现可能会经历一个较长的周期（尤其是离线场景），往往是业务方通过上层数据报表发现数据异常后 push 数据方去定位问题（对于一个较冷的报表，这个周期可能会更长）。同时，由于数据加工链路较长需要借助数据的血缘关系逐个任务排查，也会导致问题的定位难度增大，严重影响开发人员的工作效率。更有甚者，如果数据问题没有被及时发现，可能导致业务方作出错误的决策。此

数据质量之评估维度及检测项数据质量直接影响数据的价值，这里主要介绍一些业界主流的六大评估维度，分别是完整性，唯一性（独特性），一致性，准确性，有效性，时效性。以及我们在设计DQC的时候可以用什么检查规则取检测。一、完整性数据的每一项都应被记录，这样数据才完整。我们可以通过对字段是否为空或者是否为空字符串进行检测数据的完整性-- 空值检测select count(1) as cnt from ${db}.${table} where (${filter}) and (${field} is nul

随着大数据行业的深入发展，数据质量越来越成为一个绕不开的话题，那当大家在聊数据质量的时候，通常会聊什么呢？从什么是数据质量开始。