数仓建模—事实表和维度表设计规范

最新推荐文章于 2024-08-25 18:00:00 发布
最新推荐文章于 2024-08-25 18:00:00 发布
阅读量6.5w 收藏
点赞数 1
分类专栏： 数仓建模 文章标签： 数据仓库 数仓建模 设计规范
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/king14bhhb/article/details/121758463
版权
本文详细介绍了数据仓库中事实表和维度表的设计规范，包括存储规范、事务型和周期快照型事实表设计、一致性维度规范、维度组合与拆分原则等，旨在提供一套完整的数仓建模规范。内容涵盖事务型事实表的生命周期管理、维度表的一致性要求，以及SQL开发的基本原则和注释规范。
摘要由CSDN通过智能技术生成

事实表和维度表设计规范

前面我们介绍了数仓建模—数仓开发规范,我们也介绍了事实表和维度表你可以参考数仓建模—事实表和数仓建模—维度表,但是我们的数仓设计其实很大一部分就是在设计维度表和事实表，所以我们这里就单独再看一下事实表和维度的设计规范和原则。

事实表设计规范

存储规范

明细层的表的类型为事实表，存储方式为按天分区。

事务型事实表一般永久保存。周期快照型事实表根据业务需求设置生命周期管理。您可依据3个月内的最大需要访问的跨度设置保留策略，具体计算方式如下：

  • 当3个月内的最大访问跨度小于或等于4天时，建议将保留天数设为7天。
  • 当3个月内的最大访问跨度小于或等于12天时，建议将保留天数设为15天。
  • 当3个月内的最大访问跨度小于或等于30天时， 建议将保留天数设为33天。
  • 当3个月内的最大访问跨度小于或等于90天时，建议将保留天数设为93天。
  • 当3个月内的最大访问
了解本专栏 订阅专栏 解锁全文 超级会员免费看
不二人生
关注
专栏目录
订阅专栏
数仓建模—表设计规范
12-16 6万+
表设计规范 前面我们介绍了一些数仓的设计规范，主要围绕着数仓整体的设计以及维度建模来的，你可以参考： 数仓建模—数仓开发规范 数仓建模—事实表和维度表设计规范 我们知道数仓本质上是一堆表的集合，所以我们今天就来看一些关于表本身的一些设计问题 表的概述 表本身其实就是一组文件的集合，只不过我们赋予了它结构的概念，最终演化成了数据的组织方式。在整个数仓中从数据源到数据集成再到数据开发以及到最后的数据应用，我们都是通过表来完成的，也就是说我们的整个过程都是围绕着表来的。 我们大致有下面几类表 表（Table
数仓建模—事实表
09-23 6万+
事实表 在ER模型中抽象出了有实体、关系、属性三种类别，在现实世界中，每一个操作型事件，基本都是发生在实体之间的，伴随着这种操作事件的发生，会产生可度量的值，而这个过程就产生了一个事实表，存储了每一个可度量的事件，所以事实表本质上是反映一个个事件的，例如下单事件，度量就是下单的金额，事实表的特点就是增长迅速，且主要以数值进行记录 在构建数据仓库总线矩阵完成后，可着手事实表和维度表的设计。 数仓总线矩阵里每个业务过程都会生成至少一张事实表（识别业务过程的本质就是识别要构建的事实表），因为有可能一个原子事件涉及
数据仓库(7)数仓规范设计
pythonxxoo的博客
04-20 948
🚀 优质资源分享 🚀 学习路线指引（点击解锁） 知识定位 人群定位 🧡 Python实战微信订餐小程序 🧡 进阶级 本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。 💛Python量化交易实战💛 入门级 手把手带你打造一个易扩展、更安全、效率更高的量化交易系统 规范设计在这里取《大数据之路：阿里巴巴大数据实践》中的定义，这里记录一下本人对这一块自己的理解。 规范定义指以维度建模作为理论基础 构建总线矩阵，划分和定义数据域、业
最强最全面的数仓建设规范指南
yuan_more的博客
11-11 4391
目录 一、数据模型架构原则 1. 数仓分层原则 2. 主题域划分原则 3. 数据模型设计原则 二、数仓公共开发规范 1. 层次调用规范 2. 数据类型规范 3. 数据冗余规范 4. NULL字段处理规范 5. 指标口径规范 6. 数据表处理规范 7. 表的生命周期管理 三、数仓各层开发规范 1. ODS层设计规范 2. 公共维度层设计规范 3. DWD明细层设计规范 4. DWS公共汇总层设计规范 四、数仓命名规范 1. 词根设计规范 2. 表命名规范 3. 指标命
数据仓库系列 5：什么是事实表和维度表,它们有什么作用?
最新发布
一个8年大数据开发工程师的碎碎念
08-25 2378
维度建模是一种专为数据仓库和商业智能(BI)系统设计的数据建模技术。它的核心思想是将复杂的业务数据组织成直观、易于理解和高效查询的结构。将数据分为事实(度量)和维度(上下文)两类。采用星型模式或雪花模式来组织这些事实和维度。优化了面向商业用户的查询性能和易用性。
历史时点数据统计如何设计表结构_数据仓库维度建模-维度表设计
weixin_39885166的博客
11-22 491
1 维度表的定义在维度建模中，通常将指标的度量称之为“事实”，将产生度量的环境称之为“维度”。将描述同一个业务实体的的多个维度列组合在一起，就是常说的“维度表”。维度表是用户分析数据的窗口，其提供了事件发生过程中的环境描述信息，能够做数据查询的过滤条件和数据分析的分组。维度设计既是维度建模的基础，也是其关键所在，可以说，维度表设计的质量，将决定了整个维度模型分析能力的上限。2 维度表的构成维度表通...
数据仓库-事实表和维度表的设计
oThrowsException的博客
05-12 637
文章目录事实表和维度表的分界线 事实表和维度表的分界线 事实表是用来存储主题的主干内容的。以日常的工作量为例，工作量可能具有如下属性：工作日期，人员，上班时长，加班时长，工作性质，是否外勤，工作内容，审核人。那么什么才是主干内容？很容易看出上班时长，加班时长是主干，也就是工作量主题的基本内容，那么工作日期，人员，工作性质，是否外勤，工作内容是否为主干信息呢？认真分析特征会发现，日期，人员，性质，是否外勤都是可以被分类的，例如日期有年-月-日的层次，人员也有上下级关系，外勤和正常上班也是两类上班考勤记录，而上
【电商数仓】关系建模与维度建模、维度表和事实表、几种维度模型、数仓建模原则
weixin_43923463的博客
09-27 4098
维度建模一定要选定一个中心，这个中心就是需要做的业务，如电商的核心业务就是订单，那么在对电商业务进行维度建模的时候，就可以将订单放到中心的位置。描述订单的方式一般为：和人，何时，何地，下的什么订单，一个用户，一个维度；例如，需要统计，什么时间下的订单多，哪个地区下的订单多，哪个用户下的订单多。在业务系统中，挑选感兴趣的业务线，比如下单业务，支付业务，退款业务，物流业务，一条业务线对应一张事实表。此处的“事实”一词，指的是业务中的度量值（次数、个数、件数、金额，可以进行累加），例如订单金额、下单次数等。
数仓之事实表和维度表（一）
weixin_42478648的博客
12-27 1万+
事实表： 事务事实表：（->明细事实表->聚合事实表） 记录的是事务层面的事实，保存的是最原子的数据，也叫做“原子事实表”。事务事实表中的数据在事务事件发生后产生，数据的粒度通常是每个事务一条记录。一旦事务被提交，事实表数据被插入，数据就不再进行更改，其更新方式为增量更新。 明细事实表（单事件事实表，流程事实表）： 一般位于DWD层，该层事实表设计不进行聚合，汇总等动作，仅做数据规范化...
数据仓库-事实表和维度表的设计（三）
Athenaer的专栏
08-20 3万+
Posted on 2009-02-20 10:15 如果你也听说 阅读(5011) 评论(3) 编辑 收藏  数据仓库的物理模型较常见的操作型数据库的物理模型有很大不同。最明显的区别是：操作型数据库主要是用来支撑即时操作，对数据库的性能和质量要求都比较高，为了防止“garbage in，garbage out”，通常设计操作型数据库的都要遵循几个范式的约束，除非少数情况下为了性能进
数仓建模—数仓开发规范
热门推荐
11-11 6万+
数仓开发规范 凡事无规矩不立，所以你会经常看到各种各样的规范，面对规范需要遵守，但是不能盲目，例如我们开发人员最常看到的就是《Mysql 开发规范》、《Java 编程手册》、《Java 开发规范》 之类的东西，这些东西的出发点有三方面： 提高性能 避免错误 方便管理 其实很多规范都是这三方都相关的，但是我们今天介绍的数仓规范主要是为了避免错误和方便管理，其实方便管理这个话题我们前面说了好多次了，这里你可以参考前面的文章数仓建模—数据域、数仓建模—分层建设理论、数仓建模—数据集市 这些在一定程度上来说都是
事实表维度表设计
07-26
事实表维度表设计
数仓建模系列-数据体系搭建篇
NetEaseResearch的博客
08-28 2541
本系列将持续更新数仓建模相关知识，将学习到的理论知识和工作实践结合起来，总结沉淀下来，积跬步成千里。 作者：吴珍 基本概念 数据仓库概念由世界公认的数据仓库之父比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》）中提出： A data warehouse is a subject-oriented, integrated, nonvolatile, and time-variant collection of dat.
数仓建模与规范
weixin_41105709的博客
09-22 1378
一、数仓基本概念 1、数据仓库定义 数据仓库定义有很多，我主要从它的应用和目的来说一下我的理解，数据仓库主要应用于OLAP（联机分析处理），这里的重点是分析，那分析什么呢？ 传统的数据库主要应用是OLTP（联机事务处理），用来记录某类业务事件的发生，比如淘宝的购买商品中有下订单、支付等步骤，而这些操作都会被作为一条记录存在数据库中，会有增删改各种操作； 当上面的行为数据积累到一定的时间之后，会有一些业务需要对以往的数据进行总结分析得出分析的结果，根据这个结果做出一定的决策或者营销，这个就是分析的过程
数仓【规范建模篇-万字详解】
zy123456nn的博客
06-05 893
数仓【规范建模详解】
数据仓库建模规范
01-13 650
数据仓库建模规范
数仓实践：维度建模标准规范定义
云祁QI
07-17 752
比例型指标定义方式为：派生指标+rb（ration by）+占比组，用于例如：“卖家最近1天销售金额行业占比”，派生指标为卖家最近1天销售金额，占比组为行业，可定义为pay_amt_1d_rb_industry。其定义方式为：派生指标+排名范围（例如：行业、省份、一级类目等）+排名方式（例如：升序排名ark，降序排名drk）+topN+对象名+s（s代表指标为字符串）。例如，新发商品数，重发商品数，新增注册会员数，订单支付金额，这类指标需维护原子指标及业务限定，在此基础上根据指定的统计粒度创建派生指标。
数仓建模理论与规范
weixin_45017098的博客
01-16 1264
数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策（Decision Making Support）。从上面的定义可用看到数据仓库主要有四个特点：• 面向主题：面向分析主题，如商家全域分析、交易环节分析等。• 集成的：将业务系统进行集成组装，并整合到数据仓库中。
维度设计
统计小白er & paul_work
11-12 599
1.维度设计基础 维度是维度建模的基础和灵魂。 在维度建模中，将度量称为”事实“，将环境描述为”维度“，维度是用于分析事实所需要的多样环境。 维度所包含的表示维度的列，称为维度属性。 维度属性是查询约束条件、分组和报表标签生成的基本来源，是数据易用性的关键。 维度的作用一般是查询约束、分类汇总以及排序等。 获取维度或维度属性的方式：一是在报表中获取；二是可以在和业务人员的交谈中发现维度或维度属性。 维度使用主键标识其唯一性，主键也是确保与之相连的任何事实表之间存在引用完整性的基础。 主键的分类：代理键和自然
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不二人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值