知行合一

工作总结

python实现数据仓库的自动化开发

概述 前面讲了基于元数据驱动数据仓库的开发,使数据仓库自动化,可视化。这篇讲用python来实现数仓的自动化开发 ,前提是你已经完成了需求调研和数据剖析,开始进行数据建模。自动化程序的流程如下: 由于没有开发前端建模页面,需要把ods、edw、dm层建模元数据导入到元数据库里。 把每层的转换查...

2019-07-12 17:28:54

阅读数 163

评论数 0

数据仓库自动化,可视化建设

概述 在数据仓库建设中,特别是在多个开发人员的过程中,经常会遇到以下问题: 是不是可以建一个数据仓库平台,把开发流程、规范、标准进行统一管理,基于元数据驱动的自动化、可视化的平台。 平台架构 ....

2019-05-21 19:06:00

阅读数 466

评论数 0

数据仓库(六)之数据质量篇

概述 数据质量的高低代表了该数据满足数据消费者期望的程度,这种程度基于他们对数据的使用预期。数据质量必须是可测量的,把测量的结果转化为可以理解的和可重复的数字,使我们能够在不同对象之间和跨越不同时间进行比较。 数据质量管理是通过计划、实施和控制活动,运用质量管理技术度量、评估、改进和保证数...

2018-09-26 23:04:51

阅读数 6757

评论数 3

数据仓库(五)元数据管理

概述 元数据通常定义为”关于数据的数据”,在数据仓库中是定义和描述DW/BI系统的结构,操作和内容的所有信息。元数据贯穿了数据仓库的整个生命周期,使用元数据驱动数据仓库的开发,使数据仓库自动化,可视化。  元数据类型                                ...

2018-09-20 21:47:03

阅读数 4926

评论数 0

数据仓库(四)之ETL开发

概述 ETL是数据仓库的后台,主要包含抽取、清洗、规范化、提交四个步骤,传统数据仓库一般分为四层模型。                            分层的作用                                                          ...

2018-09-16 22:56:08

阅读数 11407

评论数 0

数据仓库(三)之架构篇

概述 架构是数据仓库建设的总体规划,从整体视角描述了解决方案的高层模型,描述了各个子系统的功能以及关系,描述了数据从源系统到决策系统的数据流程。业务需求回答了要做什么,架构就是回答怎么做的问题。 架构的价值                                     ...

2018-09-13 21:54:18

阅读数 6225

评论数 0

数据仓库(二)之维度建模篇

概述 维度建模是一种将数据结构化的逻辑设计方法,它将客观世界划分为度量和上下文。度量是常常是以数值形式出现,事实周围有上下文包围着,这种上下文被直观地分成独立的逻辑块,称之为维度。它与实体-关系建模有很大的区别,实体-关系建模是面向应用,遵循第三范式,以消除数据冗余为目标的设计技术。维度建...

2018-09-12 22:29:28

阅读数 13115

评论数 3

数据仓库(一)之需求篇

概述  业务需求定义了企业的业务人员为了完成其工作,进而实现企业目标,一定要具备的东西。包括功能性需求和提供的服务。它是数据仓库的核心,从广度和深度上做好需求调研为数据仓库建设建立良好的开端。                                          需求分...

2018-09-12 21:24:44

阅读数 3929

评论数 8

提示
确定要删除当前文章?
取消 删除