数仓可视化,低代码开发平台

概述
在数据仓库建设中,特别是在多个开发人员的过程中,经常会遇到以下问题:

                                                       

需要把数仓整个生命周期进行统一管理,基于元数据驱动的自动化、可视化的平台,实现低代码开发。

功能模块
开发平台主要包括以下模块:

需求管理,源系统管理,数据探查,业务总线矩阵,维度建模,ETL管理,作业管理,BI应用管理,数据标准管理,元数据管理。

需求管理:统一管理各部门的需求文档,定义需求文档标准格式,管理需求的生命周期。提高开发人员和业务的沟通效率。

系统管理:主要管理各个系统的元数据信息包括源系统信息、数据仓库系统、作业调度系统、报表系统。通过录入的源系统信息自动导入源系统的数据库元数据,为上层提供数据支持。数据仓库系统可以执行自动生成的建表语句。作业调度系统可以发布自动生成的调度任务脚本,执行调度任务。报表系统维护每个报表和报表系统的关系。

数据探查:初步评估源系统的数据质量。

业务总线矩阵:调研源系统涉及哪些主题和业务过程,每个业务过程涉及哪些维度实体。业务过程和维度实体组成总线结构,统一管理每个源系统的业务总线。

维度建模:根据总线矩阵设计高层模型,根据命名规范进行物理模型和映射关系设计,保证命名的统一。

ETL管理:根据物理模型自动生成各层的建表脚本,根据查询脚本自动生成ETL程序脚本。

作业管理:配置作业信息,根据元数据生成依赖关系。进行作业调度和监控。

应用管理:统一管理指标体系,报表和物理表的映射关系。

数据标准管理:统一管理代码命名规范,数据类型映射关系,建表模板,ETL程序模板。

元数据管理:在上述过程中,会存储各种元数据信息,可以根据这些元数据进行代码规范检查、血缘分析、数据异常监控。

平台架构 
                                          


————————————————
版权声明:本文为CSDN博主「mark_wu2000」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/mark_wu2000/article/details/90413019

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值