数据治理之数据质量

最新推荐文章于 2024-04-29 02:34:12 发布

zxfBdd

最新推荐文章于 2024-04-29 02:34:12 发布

阅读量1k

点赞数 1

文章标签：大数据数据仓库数据挖掘

原文链接：https://blog.csdn.net/ytp552200ytp/article/details/125675631

版权

一、前言

之前我们介绍了数据资产治理类工具——数据资产管理产品架构规划设计思路，本期，我们来聊聊数据质量检测和监控的核心工具——DQC和SLA。

二、基本概念

DQC，即Data Quality Control，数据质量检测/数据质量控制，一般我们称为数据质量监控。

SLA，即Service Level Agreement，也就是服务等级协议，指的是系统服务提供者（Provider）对客户（Costomer）的一个服务承诺，我们通常称为数据产出分级运维服务。

由定义可知，DQC关注数据口径，负责数据准不准的监测，而SLA关注产出及时性和稳定性，这两者有机结合，共同保障了数据质量。

三、问题分析

常见数据资产，如埋点、数据表、数据字段、数据指标，往往存在同字段不同表之间，相同维度下居然结果不一致，或者不同维度下比例失调不符合实际，此类常见问题，我们一把可以通过DQC设置表内字段监控，或者表间字段监控，或者指标波动监控来实时感知数据质量，及时发现并及时处理。

除了质量之外，一些核心报表资产，由于面向用户的级别较高，业务关注度较广，对产出的及时性要求较高，而如果这类报表上游较复杂，往往会出现上游一个任务节点重启超时，甚至重启失败，造成整个下游任务挂起，最终报表产出严重超时，在业务侧引发事故，此时，我们就需要第一时间感知到各个任务节点的产出结果、作业执行情况等数据，有问题第一时间报警处理，SLA便能解决这类问题。

当然，除了以上DQC和SLA主要面向的业务场景外，还有一类场景，举个例子，我的前三期数据治理系列文章，分别从数据治理的策略，数据安全治理工具和数据资产治理工具入手。

其实我们很容易发现，无论是数据安全治理，还是数据资产治理，我们的治理目标其实相对容易设定，整体都是围绕着安全性、完整性、规范性、唯一性设计指标，比如数据资产安全等级一致率（即同一个数据字段，在上下游各数据表间的安全等级一致性的比率）、数据资产安全达标率、数据资产重复率、数据资产元信息完整率等等。

但以上这些指标，常常都是各自团队负责出报表或者出监控去处理，其实，如果我们从平台化的思维去设计，本来数据治理中心就是一个整体，安全中心可以为其他中心提供权限服务，资产中心可以为其他中心提供资产托管和追查服务，同样，DQC和SLA也能为其他中心提供指标监控、产出运维服务。

所以，此时，DQC和SLA就不单单只是一个表级、字段级的质量监控工具了，我更愿意把他们称为一个整体，即数据质检中心，统一提供各类表、指标、字段的监控服务。

四、产品目标

综上，数据质检监控中心，包含DQC和SLA两套工具，其中DQC主要面向三类人群：负责监控数据质量数据产品、负责处理数据质量的数仓工程师、使用数据服务的数据分析师、业务产品经理。而SLA关注的是ETL产出时效治理，主要面向数仓工程师。

而在需求场景上，DQC主要负责对数据资产质量和波动的监控，SLA主要负责对数据产出和任务调度结果和时长的监控。进一步细分需求场景，其中主要面向一次性实时数据质量测评，希望获得数据质量评分，或者进行数据质量抽检，获得质量报告需求的，我们通过质量检测模块来满足。

同理，面向具体数据资产，希望通过配置定时调度任务，监控每天数据或者业务波动，并根据报警等级跟进治理任务的，我们通过质量监控模块来满足：

质量检测：面向数据资产评分、数据质量测评，能实时获得质量评估报告的需求场景，主要功能包括检测目标选定，检测规则配置，质量评估报告生成等。
质量监控：面向具体数据资产，通过配置定时调度监控任务，分级报警处置，主要功能包括监控规则配置，分级预警配置，报警任务处置等。

五、产品架构

图表1：质检监控中心产品架构设计图