本文详细介绍了数据中台的建设，包括功能架构和分层架构。在功能架构方面，涵盖了数据目录管理、数据集成、数据资产管理、数据治理、数据开发、数据分析、数据共享和数据安全。在分层架构中，讨论了数据源层（结构化、非结构化和半结构化数据）、数据获取层（如Sqoop、Flume、MQ和Kettle）和数据存储层（关系数据库、非关系数据库、分布式文件存储和全文索引）。此外，还提及了数据处理层的离线和实时处理技术。
从零到一建设数据中台 - 功能组织与实现技术
一、数据中台功能架构
- 目录管理
通过盘点和梳理业务数据，编制、发布数据目录，规划和指导数据的接入、管理、治理、开发、共享等。
- 数据集成
为大数据平台提供基础支撑性服务，提供多种数据接入工具，实现结构化和非结构化的数据的汇聚接入，并支持数据的预处理，为大数据平台提供原始数据支撑。
- 数据资产管理
通过管理数据标准、元数据、主数据、数据资源等，提高数据资产的价值。
- 数据治理
规范数据的生成以及使用，发现并持续改善数据质量。数据治理主要涉及两个大的功能：
数据质量（DQC）：在Hadoop, Spark, Storm等分布式系统中，提供了一整套统一的流程来定义和检测数据集的质量并及时报告问题。
元数据管理：元数据管理核心在更好的维护数据血缘关系，能够支持表级别、字段级别数据血缘关系。为后续的数据发现、数据追朔、标签体系构建、数据资产运营等提供支撑。
- 数据开发
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
