【博学谷学习记录】超强总结，用心分享 | DWB层构建-订单明细宽表

已于 2023-06-12 10:14:43 修改
阅读量444 收藏
点赞数
文章标签： hive 大数据
于 2022-12-02 17:30:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Onzswhite/article/details/128151276
版权

 #博学谷IT技术支持#

DWB层：基于业务进行降维，将DWD业务上关联密切的表进行提前join形成宽表，为了以后避免大量的join操作，直接基于宽表进行分析。

订单明细宽表

  • 寻找业务关联表

订单事实表:                          fact_shop_order
订单组表:                              fact_shop_order_group
订单组支付信息表:                fact_order_pay
商品快照表:                           fact_shop_order_goods_details
订单副表(订单详情表):          fact_shop_order_address_detail
退款订单表:                           fact_refund_order
结算信息表:                           fact_order_settle
订单评价表:                           fact_goods_evaluation
订单配送表:                           fact_order_delievery_item

 

订单事实表id:订单组表order_id

订单事实表id:商品快照表order_id

订单事实表id:订单副表id

订单事实表id:退款订单表order_id

最低0.47元/天 解锁文章
Onzswhite
关注
【实时数仓】DWM层订单宽表之维表关联异步查询（续）、DWM层支付宽表需求分析、需求实现（源码）
weixin_43923463的博客
12-22 828
支付宽表的目的，最主要的原因是支付表没有到订单明细，支付金额没有细分到商品上，没有办法统计商品级的支付状况。开启BaseDBApp、OrderWideApp、PaymentWideApp，模拟生成业务数据，查看结果。启动三个应用程序和一个kafka消费者，模拟业务数据的生成，查看最终结果。所以支付宽表的核心就是要把支付表的信息与订单明细关联上。至此订单宽表准备完成，执行最终写回kafka中的操作。是线程不安全的，在JDK1.8之后，使用。模拟生成数据，kafka中结果如下。模拟生成业务数据，验证结果。
写个数仓吧（13）DWD层以及宽表
KujyouRuri的博客
05-08 1215
DWD层 积压ODS层对数据进行判空过滤。对商品分类表进行维度退化(降维)。 创建订单表 hive (gmall)> drop table if exists dwd_order_info; create external table dwd_order_info ( `id` string COMMENT '', `total_amount` decimal(10,2) COMMENT '', `order_status` string COMMENT ' 1 2 3
DWM层业务实现--订单宽表
chbxw
03-13 1022
1.1、需求分析与思路   订单是统计分析的重要的对象，围绕订单有很多的维度统计需求，比如用户、地区、商品、品类、品牌等等。   为了之后统计计算更加方便，减少大表之间的关联，所以在实时计算过程中将围绕订单的相关数据整合成为一张订单的宽表。 那究竟哪些数据需要和订单整合在一起？ ...
9.Flink实时项目之订单宽表
Player_001的博客
03-17 3109
订单是统计分析的重要的对象，围绕订单有很多的维度统计需求，比如用户、地区、商品、品类、品牌等等。为了之后统计计算更加方便，减少大表之间的关联，所以在实时计算过程中将围绕订单的相关数据整合成为一张订单的宽表。那究竟哪些数据需要和订单整合在一起？
HIve数仓新零售项目DWB层的构建
Allen_人工智能与大数据
11-20 1261
HIve数仓新零售项目DWB层的构建
数据仓库dws层，DWS层搭建--商品主题宽表，md，review第1遍,220622，
m0_48941160的博客
06-24 828
知识点03：DWS层搭建--商品主题宽表--需求分析确定指标字段与表的关系#下单次数、下单件数、下单金额 dwb_order_detail order_id: 下单次数相当于下了多少订单（有多少个包含这个商品的订单） buy_num : 下单件数相当于下了多少商品 total_price 每个商品下单金额指的是订单金额还是商品金额？应该是商品金额(订单中可能会包含其他商品)#被支付次数、被支付件数、被支付金额 dwb_order_detail #支付状态的
220622_preview，知识点10：DWS层搭建--销售主题宽表--step1--字段抽取
m0_48941160的博客
06-21 384
220622_preview知识点10：DWS层搭建--销售主题宽表--step1--字段抽取表关系字段抽取知识点11：DWS层搭建--销售主题宽表--step2--row_number去重(可选) 知识点12：DWS层搭建--销售主题宽表--step3--grouping sets分组使用CTE表达式针对上面抽取字段、分组去重的结果进行引导 with temp as (    select 抽取字段、row_number去重)   根据业务需求进行维度组
助力工业物联网，工业大数据之数仓事实层DWB层构建【十七】_大数据 dwb
最新发布
2401_84165953的博客
05-04 765
集中问题。
数据仓库dwd层，DWB层建设实战、Presto计算引擎，preview_220616，
m0_48941160的博客
06-16 1167
方式一：拉链导入适合场景：增量及更新同步表表设计要求：start_date开始时间、end_date结束时间start_date 表示数据有效的开始时间 可以作为表的分区字段来使用end_date 表示数据失效的时间，默认数据都是9999-99-99 表示一直有效 。当有更新的时候，通过拉链表操作修改end_date。典型代表：fact_shop_order 订单表、fact_order_settle订单结算表等方式二：全量覆盖导入适合场景：不考虑历史数据是否存在，每次导入直接覆盖表设计要求：没啥要求，也不
客户画像模型宽表搭建
qq_41945142的博客
07-07 1306
【Flink实时数仓】需求二：用户事件信息宽表的构建 Kafka Hbase Flink
qq_31412425的博客
07-23 966
实时中的宽表其实是在退维，退维是数据处理中的一种操作，它是将细粒度的数据合并、归并为粗粒度数据的过程。在数据处理的过程中，原始数据往往包含大量的细节和细粒度信息，而有时候我们需要将这些细粒度数据转化为更高层次、更普遍的概要信息，以支持更广泛的数据分析和业务需求，这个过程就是退维。总之，退维是数据处理中的重要环节，它帮助我们从复杂的细粒度数据中提取出有用的信息，简化数据分析过程，同时还有助于节约存储空间和提高数据处理效率。通过退维，我们可以更好地理解数据，发现数据的规律和趋势，并支持更广泛的业务应用和决策。
Python工业项目实战 05：数仓事实层DWB层构建
黑马程序员官方博客
12-23 776
负责公司市场部、运营部、财务部等专业业务以外的所有职能类工作，包括行政后勤管理、劳动关系、绩效考核与培训、企划宣传、采购需求管理、信息建设及数据分析、公司整体目标和绩效管理等工作。- 负责客户需求开发、服务产品开发、市场拓展与销售管理工作，执行销售策略、承担公司市场、销售方面具体目标责任。：基于工单信息统计等待分配工单数量、完成工单数量、处理工单数量、响应时长、服务时长等指标。ciss_s_exp_report_wo_payment：汇总报销单与工单费用单对照表。
电商系统订单表如何设计
weixin_35755823的博客
01-03 1608
在设计电商系统订单表时，应该考虑到以下几点： 订单基本信息，如订单编号、下单时间、订单状态、用户信息、支付信息等。 商品信息，包括商品名称、数量、单价、总价等。 地址信息，如收货人姓名、手机号、收货地址等。 配送信息，包括配送方式、运费、配送时间等。 其他信息，如发票信息、备注等。 下面是一个建议的订单表结构： 字段名 类型 描述 id int 订单ID user_i...
黑马Hive+Spark离线数仓工业项目--数仓事实层DWB层构建（2）
技术专家
12-29 597
黑马Hive+Spark离线数仓工业项目--数仓事实层DWB层构建
黑马Hive+Spark离线数仓工业项目--数仓事实层DWB层构建（3）
技术专家
12-29 1119
黑马Hive+Spark离线数仓工业项目--数仓事实层DWB层构建
【实时数仓】DWM层订单宽表之维表关联优化 -- 异步查询
weixin_43923463的博客
12-21 952
在Flink 流处理过程中，经常需要和外部系统进行交互，用维度表补全事实表中的字段。 例如：在电商场景中，需要一个商品的sku id去关联商品的一些属性，例如商品所属行业、商品的生产厂家、生产厂家的一些情况；在物流场景中，知道包裹id，需要去关联包裹的行业属性、发货信息、收货信息等等。 默认情况下，在Flink的MapFunction中，单个并行只能用同步方式去交互: 将请求发送到外部存储，IO阻塞，等待请求返回，然后继续发送下一个请求。这种同步交互的方式往往在网络等待上就耗费了大量时间。为了提高处理效
【实时数仓】DWM层订单宽表之需求分析、订单和订单明细关联源码
weixin_43923463的博客
12-19 928
如上图，由于在之前的操作已经把数据分拆成了事实数据和维度数据，事实数据（绿色）进入kafka数据流（DWD层）中，维度数据（蓝色）进入hbase中长期保存。在flink中的流join大体分为两种，一种是基于时间窗口的join（Time Windowed Join），比如join、coGroup等。Interval join 组合元素的条件为：两个流（我们暂时称为 A 和 B）中 key 相同且 B 中元素的 timestamp 处于 A 中元素 timestamp 的一定范围内。
数据仓库dwb层，220620，hm，
m0_48941160的博客
06-20 134
服务是否启动，日志，网页， 链接池 恢复成本太高，多备份， 有预留空间 操作系统 编译 网络 通信 jvm 面向对象程序设计、Hadoop实用技术、数据挖掘、机器学习、数据统计分析、高等数学、Python编程、JAVA编程、数据库技术、Web开发、Linux操作系统、大数据平台搭建及运维、大数据应用开发、可视化设计与开发等。 不放松警惕，要对公司不培训，，忽悠小孩子，不能吃， 括号嵌套 为什么前面一定要加一个 groupby a,b规定，
请为我设计一张基于hadoop的共享单车大数据系统的DWB层宽表
06-12
好的，请您稍等，让我思考一下。在设计这个DWB层宽表之前，需要先了解一下共享单车系统中的业务场景和数据模型。 共享单车系统中，有很多种数据需要收集和处理，例如车辆信息、用户信息、订单信息、位置数据等等。这些数据都需要进行存储、清洗、加工和分析，以支持系统的日常运营和决策分析。因此，我们需要设计一个合适的数据仓库，来管理这些数据。 基于Hadoop的大数据系统，通常采用Hive作为数据仓库，使用HDFS作为数据存储。在这个系统中，我们可以采用以下维度来设计DWB层宽表： 1. 时间维度：包括年、月、日、小时等粒度，用于统计各类业务数据的时间分布情况。 2. 地理维度：包括省、市、区等地理区域，以及经纬度等位置信息，用于统计车辆分布、用户分布、订单分布等情况。 3. 车辆维度：包括车辆编号、车辆类型、车辆状态等信息，用于统计车辆的使用情况、维护情况等。 4. 用户维度：包括用户编号、性别、年龄等信息，用于统计用户的使用习惯、偏好等情况。 5. 订单维度：包括订单编号、订单状态、订单金额等信息，用于统计订单的数量、金额、时长等情况。 根据以上维度，可以设计出以下宽表： 1. 时间维度宽表：包含日期、小时、星期等维度，以及各类业务数据的汇总指标，如订单数、车辆数、用户数、活跃用户数、活跃车辆数等。 2. 地理维度宽表：包含省、市、区、经度、纬度等维度，以及各类业务数据的汇总指标，如订单数、车辆数、用户数、活跃用户数、活跃车辆数等。 3. 车辆维度宽表：包含车辆编号、车辆类型、车辆状态、所在地等维度，以及各类业务数据的汇总指标，如订单数、使用时长、维护次数、维修次数等。 4. 用户维度宽表：包含用户编号、性别、年龄、所在地等维度，以及各类业务数据的汇总指标，如订单数、使用时长、使用次数、付费金额等。 5. 订单维度宽表：包含订单编号、订单状态、订单金额、订单时长、起始点、终止点等维度，以及各类业务数据的汇总指标，如订单数、订单金额、订单时长等。 以上是基于Hadoop的共享单车大数据系统的DWB层宽表设计方案。这些宽表可以用于各类数据分析和决策支持，以更好地服务于用户和管理者。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值