![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据仓库
文章平均质量分 77
mark_wu2000
这个作者很懒,什么都没留下…
展开
-
数据仓库(七)之作业调度篇
概述随着数据仓库的开发,ETL作业会越来越多,怎么把这些作业有序的运行起来,就需要一个健壮的调度系统来保证数据能够准确、及时的提供给BI应用程序。调度系统设计目标 调度系统架构 ETL作业数据仓库的ETL作业可能不至一种,需要把各种作业再次进行封装,...原创 2020-04-24 12:08:34 · 3829 阅读 · 3 评论 -
数据仓库(一)之需求篇
概述 业务需求定义了企业的业务人员为了完成其工作,进而实现企业目标,一定要具备的东西。包括功能性需求和提供的服务。它是数据仓库的核心,从广度和深度上做好需求调研为数据仓库建设建立良好的开端。 需求分类 需求调研步骤...原创 2018-09-12 21:24:44 · 16026 阅读 · 14 评论 -
数据仓库(四)之ETL开发
概述 ETL是数据仓库的后台,主要包含抽取、清洗、规范化、提交四个步骤,传统数据仓库一般分为四层模型。 分层的作用 STG层 在维度建模阶段已经确定了源系统,而且对源系统进行了...原创 2018-09-16 22:56:08 · 51871 阅读 · 2 评论 -
数据仓库(二)之维度建模篇
概述 维度建模是一种将数据结构化的逻辑设计方法,它将客观世界划分为度量和上下文。度量是常常是以数值形式出现,事实周围有上下文包围着,这种上下文被直观地分成独立的逻辑块,称之为维度。它与实体-关系建模有很大的区别,实体-关系建模是面向应用,遵循第三范式,以消除数据冗余为目标的设计技术。维度建模是面向分析,为了提高查询性能可以增加数据冗余,反规范化的设计技术。 维度建模优点 ...原创 2018-09-12 22:29:28 · 66854 阅读 · 20 评论 -
数据仓库(三)之架构篇
概述 架构是数据仓库建设的总体规划,从整体视角描述了解决方案的高层模型,描述了各个子系统的功能以及关系,描述了数据从源系统到决策系统的数据流程。业务需求回答了要做什么,架构就是回答怎么做的问题。 架构的价值 数据仓库架构 数据仓库的核心功能从源系统抽取数据,通过...原创 2018-09-13 21:54:18 · 36145 阅读 · 5 评论 -
数据仓库(五)元数据管理
概述 元数据通常定义为”关于数据的数据”,在数据仓库中是定义和描述DW/BI系统的结构,操作和内容的所有信息。元数据贯穿了数据仓库的整个生命周期,使用元数据驱动数据仓库的开发,使数据仓库自动化,可视化。 元数据类型 1.业务元数据 业务元数据指从业务角度描述业务...原创 2018-09-20 21:47:03 · 29044 阅读 · 3 评论 -
数据仓库(六)之数据质量篇
概述 数据质量的高低代表了该数据满足数据消费者期望的程度,这种程度基于他们对数据的使用预期。数据质量必须是可测量的,把测量的结果转化为可以理解的和可重复的数字,使我们能够在不同对象之间和跨越不同时间进行比较。 数据质量管理是通过计划、实施和控制活动,运用质量管理技术度量、评估、改进和保证数据的恰当使用。 数据质量维度 ...原创 2018-09-26 23:04:51 · 32283 阅读 · 7 评论 -
数仓可视化,低代码开发平台
概述在数据仓库建设中,特别是在多个开发人员的过程中,经常会遇到以下问题: 是不是可以建一个数据仓库平台,把开发流程、规范、标准进行统一管理,基于元数据驱动的自动化、可视化的平台。平台架构 ...原创 2019-05-21 19:06:00 · 6443 阅读 · 0 评论