数仓可视化,低代码开发平台

  • 概述

在数据仓库建设中,特别是在多个开发人员的过程中,经常会遇到以下问题:

                                                       

需要把数仓整个生命周期进行统一管理,基于元数据驱动的自动化、可视化的平台,实现低代码开发。

  • 功能模块

开发平台主要包括以下模块:

需求管理,源系统管理,数据探查,业务总线矩阵,维度建模,ETL管理,作业管理,BI应用管理,数据标准管理,元数据管理。

需求管理:统一管理各部门的需求文档,定义需求文档标准格式,管理需求的生命周期。提高开发人员和业务的沟通效率。

系统管理:主要管理各个系统的元数据信息包括源系统信息、数据仓库系统、作业调度系统、报表系统。通过录入的源系统信息自动导入源系统的数据库元数据,为上层提供数据支持。数据仓库系统可以执行自动生成的建表语句。作业调度系统可以发布自动生成的调度任务脚本,执行调度任务。报表系统维护每个报表和报表系统的关系。

数据探查:初步评估源系统的数据质量。

业务总线矩阵:调研源系统涉及哪些主题和业务过程,每个业务过程涉及哪些维度实体。业务过程和维度实体组成总线结构,统一管理每个源系统的业务总线。

维度建模:根据总线矩阵设计高层模型,根据命名规范进行物理模型和映射关系设计,保证命名的统一。

ETL管理:根据物理模型自动生成各层的建表脚本,根据查询脚本自动生成ETL程序脚本。

作业管理:配置作业信息,根据元数据生成依赖关系。进行作业调度和监控。

应用管理:统一管理指标体系,报表和物理表的映射关系。

数据标准管理:统一管理代码命名规范,数据类型映射关系,建表模板,ETL程序模板。

元数据管理:在上述过程中,会存储各种元数据信息,可以根据这些元数据进行代码规范检查、血缘分析、数据异常监控。

  • 平台架构 

                                          

 

 

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页