从零到一建设数据中台 - 功能组织与实现技术

从零到一建设数据中台 - 功能组织与实现技术

一、数据中台功能架构

- 目录管理

通过盘点和梳理业务数据，编制、发布数据目录，规划和指导数据的接入、管理、治理、开发、共享等。

- 数据集成

为大数据平台提供基础支撑性服务，提供多种数据接入工具，实现结构化和非结构化的数据的汇聚接入，并支持数据的预处理，为大数据平台提供原始数据支撑。

- 数据资产管理

通过管理数据标准、元数据、主数据、数据资源等，提高数据资产的价值。

- 数据治理

规范数据的生成以及使用，发现并持续改善数据质量。数据治理主要涉及两个大的功能：

数据质量（DQC）：在Hadoop, Spark, Storm等分布式系统中，提供了一整套统一的流程来定义和检测数据集的质量并及时报告问题。

元数据管理：元数据管理核心在更好的维护数据血缘关系，能够支持表级别、字段级别数据血缘关系。为后续的数据发现、数据追朔、标签体系构建、数据资产运营等提供支撑。

- 数据开发

提供大数据开发