超级会员免费看
本文详细介绍了数据中台的关键组成部分——数据仓库管理平台的整体设计方案，包括数据仓库架构、数据库管理和ETL流程等核心内容，旨在提供一套高效、稳定的数据管理解决方案。
《数据仓库管理平台-整体方案》
数据仓库管理平台作为一站式大数据研发平台，承载着数据规范化和研发效率提升的职责，我们设计的四个核心模块为数据开发，数据管理，数据查询，数据服务，分表解决了不同的问题，另外还涉及数据流程中任务的运维监控模块，任务调度系统交互等其他模块功能，设计的整体架构图如下：
1.数据开发模块： 为提高数据研发的效率，数据仓库管理平台提供数据研发集成开发环境，并设计一套研发标准流程，首先需要新建数据项目，在项目下再挂接多个业务流程，在每个业务流程中进行表的规范化创建，指标规范化创建和任务开发，任务的开发集成了常用的hivesql,sparksql，shell语言，满足常用开发需求，开发完成后，点击“一键发布”到线上，数据管理组人员在线上环境审核该数据项目，对规范化做最后的把关，在审核通过后，项目内容，包含执行的脚本，
订阅专栏 解锁全文
扫一扫
535
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
