实时数仓-涉及维度退化的事实表

最新推荐文章于 2024-05-01 12:15:13 发布
最新推荐文章于 2024-05-01 12:15:13 发布
阅读量612 收藏 3
点赞数
分类专栏： 大数据 Flink 文章标签： kafka big data 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36251822/article/details/125172666
版权

[关键字]:Flink SQL、Flink 双流Join、Flink 动态表与持续查询

业务背景

实现DWD-加购事务事实表

业务流程

业务流程

维度退化

何为维度退化

传关系型数据库
严格遵循三范式来 表内没有冗余 如果要获取维度字段需要联结其他表 ==> 时间换空间
非关系型数据库
遵循维度建模且数据量大 联结其他表会大大增加查询时间 所以将需要的维度字段合并到事务表 ==>空间换时间

宽表

宽窄表并不单单以表的宽细作为划分依据,而取决于表中是否有冗余字段
维度退化后,事务表不再符合三范式的规定 自然就是宽表

技术选型解析

DataStream vs Table

DataStream：没有封装好的API 需要重写编写Join
Table：有现成的Join API以供调用
参考:https://zhuanlan.zhihu.com/p/457325153

Flink CDC vs Lookup join

使用FlinkCDC会造成数据重复join的问题 所以选择使用Lookup连接器来生成表

Lookup Join 通常在 Flink SQL 表和外部系统查询结果关联时使用。
这种关联要求一张表（主表）有处理时间字段，而另一张表（维表）由 Lookup 连接器生成。
Lookup Join 做的是维度关联，而维度数据是有时效性的，那么我们就需要一个时间字段来对数据的版本进行标识。
因此，Flink 要求我们提供处理时间用作版本字段。
此处选择调用 PROCTIME() 函数获取系统时间，将其作为处理时间字段。

Kafka Connector vs Upsert Kafka Connector

选哪个作为连接器的判断标准：表的操作类型是否仅为Insert

Kafka ConnectorUpsert Kafka Connector
要求表不能有主键要求表有主键
不能消费带有 Upsert/Delete 操作类型数据的表，如 left join 生成的动态表支持以 upsert 方式从 Kafka topic 中读写数据

在这里插入图片描述

中英汉语词典
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
实时数仓-维表维护方案
u011624157的专栏
02-22 604
实时数仓-维度表相关处理概览背景&需求解决方案方案选择 概览 维度表维护是实时数仓搭建的重要一环，接下来说一下实际工作中维度表维护的思路 背景&需求 问题1 公司内Flink job大概有200个，每个job需要关联3到5张维度表。现有的维度表关联是用mysql source，每个维表需要维护一个链接，非常占用mysql的链接资源 问题2 基于mysql source的查询是周期性进行的，实际生产中是1h查询一次，此间维度表变化无法及时追踪 解决方案 plan A 开启一个Flink
数仓建模—维度建模之事实表
2401_84052244的博客
04-22 65
顾客单次购买行为的体现是一张购物小票，但是事务事实表应该选择最原子粒度的事件，所以小票的子项（在业务上的动作即为收银员每次扫描的商品条码）应该是超市零售事务事实表的粒度。这里的粒度主要指库存的周期，商品的粒度很容易确定（注意这里是 SKU 级别）。选择库存的周期需要考虑到数据量膨胀情况。考虑如下例子，某个超市有 万个商品（即SKU）， 其有 100 家连锁店，那么每天对其库存拍照将有 10010000=100 万行记录，那么一年将有 3651000000=3.65亿条记录。
实时数仓项目(二)DIM层地域维表建立
weixin_38813363的博客
02-26 685
DIM层地域维表建立一、思路分析二、编码实现 一、思路分析 mysql中lagou_area导入到hbase的lagou_area中 构建数据源，从Hbase中读取lagou_area内容 使用flink进行算子转化，得到flinktable 编写sql 将table转回流数据 自定义下沉器，将数据写入到hbase 二、编码实现 建立样例类 package dim case class DimArea( areaId:Int,
HAWQ取代传统数仓实践（九）——维度表技术之退化维度
wzy0623的专栏
05-26 6417
退化维度技术减少维度的数量，简化维度数据仓库模式。简单的模式比复杂的更容易理解，也有更好的查询性能。        有时，维度表中除了业务主键外没有其它内容。例如，在本销售订单示例中，订单维度表除了订单号，没有任何其它属性，而订单号是事务表的主键，这种维度就是退化维度。业务系统中的主键通常是不允许修改的。销售订单只能新增，不能修改已经存在的订单号，也不会删除订单记录。因此订单维度表也不会有历史数据
【数据仓库】|4 维度建模之事实表设计
nidongla的博客
06-02 672
事实表是维度建模的核心，紧紧围绕着业务过程来设计，通过描述度量来表达业务过程，包含了维度的引用和业务度量值。 上一篇文章我们讲了《维度表的设计》，今天我们聊一下事实表的设计。一样，我们的目录结构和内容参考了《阿里巴巴大数据之路》一书。 事实表的基础优惠券 www.fenfaw.cn 概念 粒度 事实表中的每一条记录所表达的业务细节程度被称为粒度。 粒度由两种方式表述： 维度属性组合所表示的细节程度 所表示的具体业务含义 事实 用来描述业务过程的度量，一般是整形、浮点型的十进制数值...
【实时数仓】DWM层订单宽表之维表关联优化 -- 异步查询
weixin_43923463的博客
12-21 932
在Flink 流处理过程中，经常需要和外部系统进行交互，用维度表补全事实表中的字段。 例如：在电商场景中，需要一个商品的sku id去关联商品的一些属性，例如商品所属行业、商品的生产厂家、生产厂家的一些情况；在物流场景中，知道包裹id，需要去关联包裹的行业属性、发货信息、收货信息等等。 默认情况下，在Flink的MapFunction中，单个并行只能用同步方式去交互: 将请求发送到外部存储，IO阻塞，等待请求返回，然后继续发送下一个请求。这种同步交互的方式往往在网络等待上就耗费了大量时间。为了提高处理效
数仓建模—事实表
热门推荐
09-23 6万+
事实表 在ER模型中抽象出了有实体、关系、属性三种类别，在现实世界中，每一个操作型事件，基本都是发生在实体之间的，伴随着这种操作事件的发生，会产生可度量的值，而这个过程就产生了一个事实表，存储了每一个可度量的事件，所以事实表本质上是反映一个个事件的，例如下单事件，度量就是下单的金额，事实表的特点就是增长迅速，且主要以数值进行记录 在构建数据仓库总线矩阵完成后，可着手事实表和维度表的设计。 数仓总线矩阵里每个业务过程都会生成至少一张事实表（识别业务过程的本质就是识别要构建的事实表），因为有可能一个原子事件涉及
数仓建模—事实表和维度表设计规范
最新发布
2401_84052244的博客
05-01 31
建议对所有的表加上别名。一旦在SELECT语句中对表定义了别名，在整个语句中对此表的引用都必须以别名替代。考虑到编写代码的便捷性，约定别名尽量简洁，同时避免使用关键字。表别名采用简单字符命名。多层次的嵌套子查询，在别名之前要体现层次关系。SQL语句别名或分层的命名，从第一层次至第四层次，分别用P、S、U、D表示，取意为Part，Segment，Unit，Detail。也可用a、b、c、d来表示第一层次到第四层次。对于同一层次的多个子句，可以在字母后加1、2、3、4区分。必要时，为表别名添加注释。
大数据项目之电商数仓-业务数据仓库
fang19970714的博客
06-17 975
电商业务流程简介 电商术语 SKU，库存量单位，即库存进出计量的基本单元，可以是以件，盒，托盘等为单位。SKU这是对于大型连锁超市DC（配送中心）物流管理的一个必要的方法。现在已经被引申为产品统一编号的简称，每种产品均对应有唯一的SKU号。 SPU，标准化产品单元。是商品信息聚合的最小单位，是一组可复用、易检索的标准化信息的集合，该集合描述了一个产品的特性。 常用的表：订单表、订单详情表、商品表、用户表、商品一级分类表、商品二级分类表、商品三级分类、支付流水表 数仓理论：表的分类 实体表：实体表，一般
谈笑间学会数仓-分层架构
阿尼古
08-06 2252
谈笑间学会-数仓分层架构 1、数据仓库 1-1、什么是数仓呢？ ​ 数据仓库（Data Warehouse）简称DW或DWH，是数据库的一种概念上的升级，可以说是为满足新需求设计的一种新数据库，而这个数据库是需容纳更多的数据，更加庞大的数据集，从逻辑上讲数据仓库和数据库是没有什么区别的。 ​ 为企业所有级别的决策制定过程，提供所有类型数据支撑的战略集合，主要是用于数据挖掘和数据分析，以建立数据沙盘为基础，为消灭消息孤岛和支持决策为目的而创建的。 1-2、为什么需要数据仓库？ ​
退化维度
CSDN_bird的博客
10-24 490
https://blog.csdn.net/wzy0623/article/details/49797421
维度-退化维度
weixin_30411997的博客
03-12 1196
刚接触Mondrian，不熟悉如果只有一个事实表，没有单独的维度表，其中事实表就包含维度信息的怎么做Schema文件。一开始做了很多自关联，导致性能下降明显。基本多维度查询速度就很慢，基本出不来了。 其实这种同在事实表的，可以用退化维度来实现即可。 退化维度是这样的一种维度：由于它过于简单而不值得为它创建一个维表。考虑下面的事实表：假设我们为支付方式列的值创建一个维表： 支付方式C...
什么是退化维度
ChengYanan的博客
05-03 1333
什么是退化维度（Degenerate Dimension,DD），就是那些看起来像是事实表的一个维度关键字，但实际上并没有对应的维度表，其中，事实表的粒度就是文档本身或文档中的一个分列项。 具体怎么理解呢？在传统的父子关系型数据库中，事务编号是事物标题记录的关键字，比如订单编号、发票编号，这样的纪录包含了诸如事务日期、供应商标示这样在总体上对事务有效的所有信息。但在给出的维度模型中，已经将这些令人...
什么是退化维度？
a6822342的博客
08-30 2万+
退化维度的维度表可以被剔除，从而简化维度数据仓库的模式。因为简单的模式比复杂的更容易理解，也有更好的查询性能。 当一个维度没有数据仓库需要的任何数据时就可以退化此维度。需要把退化维度的相关数据迁移到事实表中，然后删除退化的维度。 维度属性也可以存储到事实表中，这种存储到事实表中的维度列被称为“退化维度”。与其他存储在维表中的维度一样 ，退化维度也可以用来进行事实表的过滤查询、实现聚合操作等。那...
维度退化（数据仓库）
格子衫
06-16 5115
维度-退化维度 刚接触Mondrian，不熟悉如果只有一个事实表，没有单独的维度表，其中事实表就包含维度信息的怎么做Schema文件。一开始做了很多自关联，导致性能下降明显。基本多维度查询速度就很慢，基本出不来了。 其实这种同在事实表的，可以用退化维度来实现即可。 退化维度是这样的一种维度：由于它过于简单而不值得为它创建一个维表。考虑下面的事实表： 假设我们为支付方式列的值创建一个维表： 支付方式 Credit Cash ATM 这个维表没什么意义，它只有三个取值，没有额外的信息，并产生
Degenerate dimensions （退化的维）
未来世界
03-26 467
Degenerate dimensions （退化的维）不需要建立维度表，就用事实表的字段为维。A degenerate dimension is a dimension which is so simple that it isn't worth creating its owndimension table. For example, consider following the fact t...
维度模型数据仓库（十三） —— 退化维度
wzy0623的专栏
11-12 2万+
（五）进阶技术         8. 退化维度         本篇讨论一种称为退化维度的技术。该技术减少维度的数量，简化维度数据仓库的模式。简单的模式比复杂的更容易理解，也有更好的查询性能。当一个维度没有数据仓库需要的任何数据时就可以退化此维度。需要把退化维度的相关数据迁移到事实表中，然后删除退化的维度。         退化订单维度         本节说明如何退化订单维度，包括对
大数据--数据仓库--维度退化
数据挖掘+大数据研发+算法学习
09-06 7834
2.3 维度退化 不可能将所有与业务相关的维度分类到一个紧凑的表集合中。类似这样的情况，将一个或者多个维度存储到事实表中是合适的选择。采用这种方法，存储事实表中的维度列被称为退化维度，退化维度的过程称为维度退化。 更为规范的定义是：当一个维度没有数据仓库需要的任何数据的时候就可以退化此维度，需要把退化的相关数据迁移到事实表中，然后删除退化的维度。与其他存储在维度表中的维度一样，退化维度也可以进行事实表的过滤查询，实现聚合操作等。那么究竟怎么定义退化维度呢？比如说订单id，...
大数据之数仓--DW--Hadoop数仓实践Case-08-退化维度
大数据工程师
06-03 1563
退化维度概述 退化维度，该技术减少维度的数量， 简化维度数据仓库模式。 简单的模式比复杂的更容易理解， 也有更好的查询性能。 有时， 维度表中除了业务主键外没有其他内容。 例如， 在我们的销售订单示例中， 订单维度表除了订单号， 没有任何其他属性， 而订单号是事务表的主键。 我们将这种维度称为退化维度。 业务系统中的主键通常是不允许修改的。 销售订单只能新增， 不能修改已经存在的订单号， 也...
维度表与事实表维度退化形成宽表
06-09
维度退化是指在事实表中包含了维度表中的一些属性，这些属性本应该作为维度表的一部分，但是由于某些原因，被直接存储在事实表中。维度退化通常发生在一些维度表中只包含唯一标识符的情况下，例如日期维度表或者时间...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值