数仓搭建案例

本文介绍了数据仓库的构建,包括数仓架构、常用系统架构、事实表和维度表的概念。讨论了维度建模的星形、雪花和星座模式,并针对多业务场景选择了星座模式。此外,还提到了命名规范以及在实时数仓和离线数仓之间的选择,建议采用Lambda架构结合实时流计算和离线批处理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

数仓架构方案

背景

随着公司业务深入,需要打造几个精品级产品,精品级产品不仅要满足用户统计需求,还须兼顾分析,但现状是业务数据存储多样且分散,大部分数据无法直接取用,需要管理和重组数据,而且与业务相关的标签类设置数据和部分初级汇总数据统计偏复杂,无法适应业务多样性统计需求。这个时候数据仓库就应运而生

数据仓库

数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。其实数据仓库本身并不“生产”任何数据,同时自身也不需要“消费”任何的数据,数据来源于外部,并且开放给外部应用,这也是为什么叫“仓库”,而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程,可以分为三层——源数据、数据仓库、数据应用:

1. 一个集成的面向主题的数据集合,设计的目的是支持DSS(决策支持系统)的功能,在数据仓库里,每个数据单元都和特定的时间相关;

2. 数据仓库包括原子级别的数据和轻度汇总的数据;

3. 数据仓库是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化(不同时间)的数据集合,用以支持经营管理中的决策制定过程,数据仓库是重建企业数据和信息流的过程,在这个过程中,构造企业的决策支持环境,以区别原来的业务系统所构建的操作型环境,其价值在于获得足够的信息和有质量的分析结果。

数据仓库常用系统架构

(图片来源于网络)

 

指标(度量)就是从维度的基础上去衡算这个结果的值,一般是一个连续的值。

以开关机业务为例简单例举几个指标样例数据,如下表所示

 

 

 

 

 

业务限定:开关机业务

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值