阿里云云原生一体化数仓 — 数据治理新能力解读

一、数据治理中心产品简介

阿里云DataWorks：一站式大数据开发与治理平台 架构大图

阿里云 DataWorks定位于一站式的大数据开发和治理平台，从下图可以看出，DataWorks 与 MaxCompute、Hologres 等大数据引擎紧密配合，在数据的 采、建、管、用 四个关键环节提供了丰富的产品功能，是阿里巴巴内部构建数据中台的核心平台型产品，支撑了电商新零售、广告营销、本地生活&出行、智慧物流、企业智能管理等几乎全部业务板块和企业运营管理的数字化建设工作需要。

随着数据建设的深入，我们愈发意识到数据治理是 数据资产化建设、加速数据价值释放 不可或缺的关键工作。在阿里集团内部，我们提出了构建 “质量可靠、安全稳定、生产经济、消费便捷” 的数据资产体系的目标，并围绕这个目标来开展数据治理工作。在DataWorks中也构建了相应的产品模块和能力进行支撑，比如上图所示的“数据质量管理”、“数据资产地图”、“数据安全管理”以及“数据治理中心”等。

企业数据治理实施的典型痛点

数据治理的工作在很多企业已经广泛开展或正准备开展，数据治理实施，有以下四个方面的典型痛点：

• 数据治理入手难
  • 开展数据治理工作，通常会参考DAMA或者DCMM理论体系，可以发现数据治理涵盖内容极为广泛。从哪里优先入手，以什么样的路径来推进，这是企业进行数据治理工作首先要回答的问题。数据治理的目标和执行路径不清晰，是第一个典型痛点。
• 数据治理落地难
  • 无论是企业内部自发地开展、还是请专业的咨询机构，构建出数据治理咨询方案、产出一些列的规范和管理办法后，往往只能停留于纸面，没有恰当的治理平台工具来支撑落地，这是会面临的第二个典型挑战。
• 数据治理成效的可视化不足
  • 如何客观地评估治理、将治理成效量化、可视化。当这个工作没有做好时，治理的推进难度会显著加大。
• 数据治理工作不可持续
  • 数据治理的工作容易陷入“运动式治理”，通过集中的突击、在一段时间内看到一定的效果。但如果不融入到日常的数据开发生产链路中去，这项工作就不持续，不能长久地、从根本性地解决治理的问题。

阿里巴巴实践的数据治理体系

在数据质量管理、元数据管理、数据安全管理等细分领域的工作完成之外，阿里巴巴集团创新地构建了如下一套全集团通用的数据治理体系，从 计算、存储、质量、安全、模型和成本等多个维度进行治理切入，采用统一的方法和策略，构建量化的评估模型，并使用统一的治理平台工具来承接落地，取得了显著的成效。

这套体系同，有几个关键要点：

• 首先，明确治理的核心对象是与ETL作业中相关的任务和表。数据治理是治理客观的对象，不是治理人。但治理实施的一个关键前提，是对任务和表这些基本对象的确定归属，梳理并定义清楚对象的具体负责人，来确保治理问题有着落、有跟进。通过具体到人，进而汇聚到部门、到全集团整体，
• 其次，数据治理采取的实施路径是 “现状分析 -> 问题定位 -> 优化治理 -> 效果评估”，构建一个闭环流程；
• 最后，数据治理的核心，要落在量化上：将问题量化、将成效量化。并基于局部的明细给出全局的决策建议，比如为全集团的资源调配、各部门的预算制定、成本优化目标的设定等，提供参考。并且，这些量化的评估和治理问题的发现、修复，都会通过一个统一的平台工具来承接。

这套在阿里巴巴内部多年实践证明行之有效的方法和能力，现在以产品化的方式正式对云上客户提供服务，这就是 DataWorks数据治理中心 这一全新产品模块。

数据治理中心基于治理问题驱动，构建了一个 治理量化评估 - 问题发现/预防 -治理问题的优化处理