数仓-数据质量实践

目录

一、数据质量简介

1.1概念

1.2痛点

1.2.1 缺失开发规范化&对业务了解不足

1.2.2 缺少上线前保障

1.2.3 数据链路缺少质量卡点保障

1.2.4 数据不能及时产出影响到下游用数

1.2.5 数据问题上报缺少流程化机制

二、数据质量保障措施

2.1 模型及指标的上线/变更规范

2.1.1模型上线/变更流程

2.1.2指标变更规范

2.1.3 业务理解

2.2 数据上线前保障（代码检验） 

2.2.1数据探查

2.2.2数据比对

2.3 数据质量监控DQC

2.3.1 dqc概念

2.3.2 dqc种类

2.3.3 dqc划分

2.3.4 dqc处理

2.3.5 dqc告警

​编辑2.3.6 dqc平台

2.4 数据产出保障（基线&SLA）

2.4.1 数据基线

2.4.3 基线值班手册

2.5 容灾备份及快恢能力

2.5.1 痛点

2.5.2 解决办法

2.6数据问题上报

2.6.1 痛点

2.6.2 概述

2.6.3 数据问题上报平台

2.7数据质量长期监测跟踪体系

2.7.1 痛点

2.7.2 整体架构

2.7.3 流程

三、如何推动上下游参与到数仓数据质量建设中

3.1 数仓建设初期

3.2 数仓建设成熟期

四、数据质量如何量化产出

4.1 产出统计数据模型

4.2 周/月报告

五、全链路的数据质量保障

5.1 数据质量保障措施-全流程卡点

5.2 个人思考

---

前言

        数据质量，意如其名，就是数据的准确性，它是数仓的基石。保障数据质量，是建设数仓的中流砥柱，也是让下游业务方对数据用的放心的定海神针。

一、数据质量简介

1.1概念

       数据质量是指数据的准确性，控制好数据质量是做数据仓库的基本要求，同时也能提升下游业务方对取数的放心。

1.2 数仓常见的质量问题

  数仓建设过程中常遇到的几类问题：

1.2.1 缺失开发规范化&对业务了解不足