数据仓库原理&实战【2】

最新推荐文章于 2024-05-12 10:05:58 发布
最新推荐文章于 2024-05-12 10:05:58 发布
阅读量2.7k 收藏 1
点赞数 2
分类专栏： 数据仓库 文章标签： sql 数据库 database
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Txixi/article/details/123735167
版权

文章目录

表的分类

1.1维度建模中表的类型

（1）事实表：一般是指一个现实存在的业务对象，比如用户、商品、商家、销售员等，根据表的功能不同可以分为事务事实表、周期快照事实表、累计快照事实表；
在这里插入图片描述

（2）维度表：

  • 一般是指对应一些业务状态，代码的解释表。也可以称之为码表
  • 通常使用维度对事实表中的数据进行统计、聚合运算
  • 就是在查询过程中可以对数据进行筛选或组织，主要是增加多维分析的一个性能，使多维分析变得更加灵活。
    在这里插入图片描述

1.2事实表的三种分类

1.2.1事务事实表

其概念是随着业务不断产生的数据，一旦产生就不会在改变，如交易流水

最低0.47元/天 解锁文章
Txixi
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
事实表的分类：事务事实表，周期快照事实表，累计快照事实表
a6822342的博客
08-11 2万+
维度建模数仓领域中的事实表大致分以下三种：事务事实表，周期快照事实表，累计事实表。 事务事实表与周期快照事实表、累积快照事实表虽然使用相同的一致性维度，但是它们在内容构成以及业务描述上还是有很大的区别。 1.事务事实表 事务事实表记录的事务层面的事实，保存的是最原子的数据，也称“原子事实表”。事务事实表中的数据在事务事件发生后产生，数据的粒度通常是每个事务记录一条记录。一旦事务被提交，...
3.维度建模之事实表
云图大数据
03-29 2137
事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计。其包含与业务过程有关的维度引用（维度表外键）以及该业务过程的度量（通常是可累加的数字类型字段）。 事实表特点 事实表通常比较“细长”，即列较少，但行较多，且行的增速快。 事实表分类 事实表有三种类型：分别是事务事实表、周期快照事实表和累积快照事实表，每种事实表都具有不同的特点和使用场景，下面逐个介绍。 ...
数据仓库-事实表定义及区别
weixin_44556829的博客
04-12 1318
事实表 事实表分为三种：事务事实表、周期事实表、累计事实表 事务事实表：发生在某一个时间节点的事件，比如：在某时刻点击收藏、下单、付款、评价、退货等，皆属于事务事实表。 周期事实表：发生在某一个连续时间区间的事件，比如：在前一个月的店铺收藏数、下单数、付款数、好评数等，时间范围是区间连续的，比如范围可以是昨天、前七天、前一个月、前半年、某天到某天。 累计事实表：发生在某一个间隔时间区间的事件，比如：xx年xx月xx日到xx年xx月xx+1日的关键事件，多个关键事件为一行记录，时间跨度一般较短。
数据仓库——事实表_累积型快照和事务性快照区别，十位互联网一线高工手写大数据开发高级知识
2401_84181606的博客
04-15 671
导出模式是要付出代价的，这种好处的获得是通过将查询和报表阶段的工作负担转嫁到ETL阶段实现的。来自原始事实表中的数据将从行的方式转换为列的方式，或者以列的方式转换为行方式。融合事实表将一个或者多个星型模式中的事实合并为单一的事实表，产生的星型模式可以用于横向钻取。事实表快照在确定的时间间隔中对问题的度量进行抽样，这样就可以容易地研究问题的度量值，而不需要聚集长期的事务历史。状态度量，通常可以从事务历史中构造出来，然而如果事务历史延伸到很远的过去，或者必须计算许多事务的状态，监控状态将是低效的办法。
图解HIVE累积型快照事实表
ArYe
10-26 2372
2种情况 列固定 group by 后，列不固定
最全数据仓库——事实表_累积型快照和事务性快照区别，作为大数据开发开发程序员
最新发布
2401_84183033的博客
05-12 307
导出模式是要付出代价的，这种好处的获得是通过将查询和报表阶段的工作负担转嫁到ETL阶段实现的。描述条件的事实通常是无事实的。该事实表总是包含值。事实表快照在确定的时间间隔中对问题的度量进行抽样，这样就可以容易地研究问题的度量值，而不需要聚集长期的事务历史。状态度量，通常可以从事务历史中构造出来，然而如果事务历史延伸到很远的过去，或者必须计算许多事务的状态，监控状态将是低效的办法。不包含事实的事实表被称作无事实的事实表。无事实的事实表中的事件能够通过计算行数来聚集，事实表中的任何列也都可以作为计数的基准。
Hive实战模拟电商数据
01-23
1. **Hive架构与原理**：Hive是基于Hadoop的数据仓库工具，它将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive的主要组件包括Hive Metastore、Driver、Compiler、Executor和HDFS。Hive的查询语句会...
Flink原理、实战与性能优化-高级进阶培训（小白请勿下载）
06-07
Flink的图计算功能、特征工程和实时数据仓库构建也是实践环节的重要内容。 最后，课程还将对比不同的计算模型，如批量计算、流式计算、图计算和交互计算，以及相关的开源工具，如Giraph、Graphx、Presto和Spark等，...
《Hive数据仓库案例教程》教学大纲.pdf
04-04
1. **Hive数据仓库基础**：这一部分主要讲解数据仓库的基本概念，包括数据仓库的特性、数据仓库与数据库的区别，以及Hive数据仓库的原理。学生需要理解Hive架构，以及它在大数据处理中的角色。 2. **Hive环境搭建**...
Hive实战之视频网站的测试数据
08-02
Hive是一个基于Hadoop的数据仓库系统，它允许使用SQL语法进行数据查询和分析，非常适合大规模分布式数据集的处理。这个实战项目的核心是通过Hive对"chbVideoOut"这个文件进行操作，该文件很可能是包含了视频网站用户...
数仓建模中的表格类型介绍
qq_66882059的博客
04-22 401
在ODS层中的表格,保留有Mysql中导入的原始字段和数据,属于关系模型,不存在维度模型中的表格类型。而在DWD层中,创建维度模型,需要有两种表格类型组成:维度表和事实表维度表维度表：一般是对事实的描述信息。每一张维表对应现实世界中的一个对象或者概念。例如：用户、商品、日期、地区等。维度表的特征：(相对于事实表而言)维表的范围很宽（具有多个属性、列比较多）跟事实表相比，行数相对较小：通常< 10万条内容相对固定：编码表事实表。
OneData方法论-事实表设计
寒暄的博客
02-16 1665
事实表设计 事实表特性 事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计。 事实表中一条记录所表达的业务细节程度被称为粒度，粒度可以通过两种方式来表达：一种是维度属性组合所表示的细节程度，一种是所表示的具体业务含义。 作为度量业务过程的事实，一般是整数或浮点型的十进制数值，有可加性、半可加性、不可加性三种。可加性是指可以按照与事实表关联的任意维度进行汇总，半可加性是指可以按照部分关联维度进行汇总，不可加性例如比例性度量，是不能按照维度进行汇总。 维度属性也可以退化到事实表中，退化维度可以用于进行事
Kettle构建Hadoop ETL实践（九）：事实表技术
wzy0623的专栏
11-25 5869
目录 一、事实表概述 二、周期快照 1. 修改数据仓库模式 2. 创建快照表数据装载Kettle转换 三、累计快照 1. 修改数据库模式 2. 修改增量抽取销售订单表的Kettle转换 3. 修改定期装载销售订单事实表的Kettle转换 4. 修改定期装载Kettle作业 6. 测试 四、无事实的事实表 1. 建立新产品发布的无事实事实表 2. 初始装载无事实事实表 3. 修改定期装载Kettle作业 4. 测试定期装载作业 五、迟到的事实 1. 修改数据仓库模式 2.
扫盲系列（10）：数据仓库实践之累积快照事实表的实现
oOBubbleX的博客
06-12 347
本文介绍数据仓库中累积快照事实表通过日期分区表的三种实现方式。
一篇文章搞懂数据仓库：三种事实表（设计原则，设计方法、对比）
2401_84010865的博客
04-09 528
粒度是一个订单一行数据，创建订单时间，付款时间，发货时间，收货时间，分别作为一个字段，便于计算不同业务过程的时间间隔。事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设 计，通过获取描述业务过程的度量来表达业务过程，包含了引用的维度 和与业务过程有关的度量。订单支付金额和订单票数，两个事实的粒度为 “订单级”，属于上一层订单级数据，与 “票级” 事实表的粒度不一致，且不能进行汇总；如，订单金额、订单优惠金额、订单运费这 3 个事实，应该采用统一的计量单位，统一为元或者分，以方便使用；
事实表设计之累计快照事实表
hellojoy的博客
01-28 1363
https://blog.csdn.net/xu704928452/article/details/102832574?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1.not_use_machine_learn_pai&amp;depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1.not_use_machin
维度建模的事实表设计
xiaoxie920226的博客
03-29 3474
事实表基础 事实表特性 事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计，通过获取描述业务过程的度量来表达业务过程，包含了引用的维度和与业务过程有关的度量。 事实表中一条记录所表达的业务细节程度被称为粒度。 通常粒度可以通过两种方式来表述：一种是维度属性组合所表示的细节程度：一种是所表示的具体业务含义。 作为度量业务过程的事实（事实表属性），一般为整型或浮点型的十进制数值，有可加性、半可...
数仓中的全量表，增量表，拉链表，流水表，快照表
yuanlong_zhang的博客
05-13 4093
这里写自定义目录标题 预热： 我们先从几个物理概念入手理解什么是流量，存量，增量 （1）存量：系统在某一时点时的所保有的数量； （2）流量：是指在某一段时间内流入/出系统的数量 （3）增量：则是指在某一段时间内系统中保有数量的变化 （4）增量=流入量–流出量 （5）本期期末存量=上期期末存量+本期内增量 正题 全量表：每天的所有的最新状态的数据。 （1）全量表，有无变化，都要报 （2）每次上报的数...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值