目录
建设数据中台的根本目的是什么?
数据中台的愿景是打造数据驱动的智能企业
企业能够获得两个方面的收益:优化现有业务和实现新业务的转型。
元数据中心的关键目标和技术实现方案
元数据划为三类:数据字典、数据血缘和数据特征
业界元数据中心产品
- 开源的有 Netflix 的 Metacat、Apache Atlas;
- 商业化的产品有 Cloudera Navigator。
Metacat 擅长于管理数据字典
Atlas 一个擅长于管理数据血缘。Apache Atlas 实时数据血缘采集
- 通过实时抓取正在执行的 SQL,解析执行计划,获取输入表和输出表;
元数据中心必须实现的 5 个关键目标
- 其一,多业务线、多租户支持。
-
在网易,电商、音乐都是不同的业务线,同一个业务线内,也分为算法、数仓、风控等多个租户,所以元数据中心必须支持多业务线、多租户。
-
- 多数据源的支持。
-
数据血缘。
-
支持数据血缘的实时采集和高性能的查询。支持字段级别的血缘
-
-
与大数据平台集成
-
-
数据标签
-
数据地图:元数据中心的界面
元数据中心的总结思维导图
7.数据中台指标一致性管理(指标治理)
指标混乱现状
如何规范化定义指标
为了提高指标管理的效率,你需要按照业务线、主题域和业务过程三级目录方式管理指标(业务线是顶级目录)。