Flink电商实时数仓项目03-DWM层

最新推荐文章于 2024-08-01 11:00:00 发布
最新推荐文章于 2024-08-01 11:00:00 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： 大数据项目实战 文章标签： flink 电商数仓
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43523503/article/details/114424807
版权
大数据项目实战 专栏收录该内容
9 篇文章 20 订阅 ¥19.90 ¥99.00
订阅专栏
本文详细介绍了使用Flink构建电商实时数仓的DWM层，包括访客UV计算（状态）、跳出明细计算（CEP）以及订单宽表（双流join、维度关联）的实现，通过实例代码展示了如何处理数据和优化查询性能。
摘要由CSDN通过智能技术生成

1 DWM层与DWS层的设计思路

1.1 设计思路

用户行为日志：

模拟日志jar -> nginx -> web日志服务器 -> kafka(ods_base_log) -> flink(BaseLogApp) -
了解本专栏 订阅专栏 解锁全文
最佳第六六六人
关注
专栏目录
订阅专栏
Flink电商实时数仓项目05-数据可视化
qq_43523503的博客
03-06 624
1 数据可视化接口 1.1 设计思路 之前把轻度聚合的结果都保存到了ClickHouse中，主要目的就是提供即时的数据查询、统计、分析服务。这些统计服务一般会用两种形式展示，一种是为专业的数据分析人员的BI工具，另一种是为非专业人员提供更加直观的数据大屏。 ​ 下面主要是面向百度的sugar的数据大屏服务的接口开发。 1.2 需求梳理 1.2.1 最终效果 1.2.2 分析可视化大屏 组件名称 组件 查询指标 对应的数据表 总成交金额 数字翻牌 订单总金额 product_stats
数据仓库--DWM层
jianghuaijie的博客
12-18 3509
DWM（Data WareHouse Middle）数据中间层，该层会在DWD层的数据基础上，对数据做轻度的聚合操作，生成一系列的中间表，提升公共指标的复用性，减少重复加工。一般而言，针对dwm层的设计开发是建立在，积累一定数量DM和APP相关需求后，将设计到重复的指标和维度下沉到DWM的表中，因此在数仓建立初期，可能会有直接跳过DWM来开发的情况，但是随着相似的需求不断的增加，DWM的开发势在必行，而到了这种时候，我们可以以历史需求为参考，思考那些指标和维度是业务真正需要的，从而设计相应的表，避免开发大量
实时数仓（三）---DWM层
m0_50896456的博客
08-22 1068
文章目录DWM层和DWS层一、设计设计思路要求梳理二、DWM-访客-UV计算需求分析与思路代码三、DWM-访客-跳出明细计算需求分析与思路跳出计算跳出行为的思路代码四、DWM-商品-订单宽表需求分析与思路代码实现从Kafka的dwd层接收订单和订单明细数据查询Phoenix工具类封装查询维度信息工具类封装优化1旁路缓存代码实现-DimUtil代码实现-RedisUtil优化2:异步查询代码实现-OrderWideApp五、DWM-商品-支付宽表需求分析与思路代码实现-支付实体类-PaymentInfo代码实
数仓分层ODS、DWD、DWM、DWS、DIM、DM、ADS
最新发布
qq_73181349的博客
08-01 1238
数仓分层，数据源层：ODS（Operational Data Store），数据仓库层：DW（Data Warehouse）、数据明细层：DWD（Data Warehouse Detail）、数据中间层：DWM（Data WareHouse Midddle）、数据服务层：DWS（Data WareHouse Service）、 数据应用层：ADS（Application Data Service）、 维表层：DIM（Dimension）
实时数仓（五）DWM层(uv、跳出)
qq_44665283的博客
03-27 1152
（1）DWM 层的定位 DWM 层主要服务 DWS，因为部分需求直接从 DWD 层到DWS 层中间会有一定的计算量，而且这部分计算的结果很有可能被多个DWS 层主题复用，所以部分 DWD 成会形成一层 DWM。 （2）访客 UV UV，全称是 Unique Visitor，即独立访客， 对于实时计算中，也可以称为 DAU(Daily Active User)，即每日活跃用户， 因为实时计算中的 UV 通常是指当日的访客数。 代码实现： package com.yyds.app.dwm; import co
实时数仓分层之DWM存在的意义
qq_46045632的博客
01-01 1009
1.采集层，就是ODS（原始数据）层 2.DWD层，离线数仓中在这一层当中分为了两块内容，一个是DWD，还有一个叫DIM，主要是针对于这个业务数据而言的，那如果说行为数据很简单，就都是DWD，把它数据分开就好了，对于业务数据而言咱们DWD里面放的是事实，而DIM放的是维度数据。在离线数仓中这两个层区分的必要性不高，都是放在HIVE里面的，实时数仓的主要是数据的明细层 就关于我们看到这个叫DWM。 离线数仓实际上并没有这个dwm层，那这个DWM干什么事呢？稍微做一点解释，我们主要说这一层他是怎么来的啊？为什么
Flink实时数仓DWM层: 跳出明细
weixin_42796403的博客
03-17 812
DWM层: 跳出明细 1. 需求分析与思路 1.1 什么是跳出 跳出就是用户成功访问了网站的入口页面(例如首页)后就退出，不再继续访问网站的其它页面。 跳出率计算公式：跳出率=访问一个页面后离开网站的次数 / 总访问次数 观察关键词的跳出率就可以得知用户对网站内容的认可，或者说你的网站是否对用户有吸引力。而网站的内容是否能够对用户有所帮助留住用户也直接可以在跳出率中看出来，所以跳出率是衡量网站内容质量的重要标准。 关注跳出率，可以看出引流过来的访客是否能很快的被吸引，渠道引流过来的用户之间的质量对比，对于
Flink电商实时数仓项目02-DWD层
qq_43523503的博客
03-06 497
1 需求分析及实现思路 1.1 分层需求分析 1.1.1 实时数仓为什么要分层？ 建设实时数仓的目的，主要是为了增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。 比如直接从dwd、dim、dwm、dws取数据。 1.2 每层的职能 分层 数据描述 生成计算工具 存储媒介 ODS 原始数据，日志和业务数据 日志服务器，maxwell kafka DWD 根据数据对象为单位进行分流，比如订单、页面访问等等。 FLINK kafka D
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
prague6695的博客
07-14 4200
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
Flink电商实时数仓项目04-DWS层
qq_43523503的博客
03-06 635
1 DWS层和DWM层的设计 1.1 DWS层 前面的总结 DWS层的定位是什么呢？ 轻度聚合，因为DWS层要应对很多实时查询，如果是完全的明细那么查询的压力非常大。 将更多的实时数据以主题的形式组合起来便于管理，同时也能减少维度查询的次数。 ODS层: -- 日志数据： nginx+日志采集服务器(3台) 将数据采集到Kafka(ods_base_log) -- 业务数据： Maxwell监控MySQL(binlog) 将数据采集到Kafka(ods_b
详解数仓中的数据分层：ODS、DWD、DWM、DWS、ADS
热门推荐
程序员光剑
08-27 2万+
事实表的记录在不断地增长，比如电商的商品订单表，就是类似的情况，所以事实表的体积通常是远大于其他表。但是，实际情况下，我们所面临的数据状况很有可能是复杂性高、且层级混乱的，我们可能会做出一套表依赖结构混乱，且出现循环依赖的数据体系，比如下面的右图。该层是基于DWM上的基础数据，整合汇总成分析某一个主题域的数据服务层，一般是宽表，用于提供后续的业务查询，OLAP分析，数据分发等。该层是在DWD层的数据基础上，对数据做一些轻微的聚合操作，生成一些列的中间结果表，提升公共指标的复用性，减少重复加工的工作。
03Flink实时数仓（尚硅谷）- DWM 层业务实现
qq_24095055的博客
07-22 1188
03Flink实时数仓（尚硅谷）- DWM 层业务实现
【实时数仓】DWM层设计模式、独立访客（UV）的计算
weixin_43923463的博客
12-17 1190
模拟生成日志jar包将模拟生成的日志数据发送给Nginx进行负载均衡Nginx将请求转发给三台日志采集服务三台日志采集服务接收到日志数据，将日志数据发送给kafka的ods_base_log主题中BaseLogApp应用程序从ods_base_log中读取数据，进行分流启动日志：dwd_start_log曝光日志：dwd_display_log页面日志：dwd_page_logUnionVistorApp从dwd_page_log主题中读取数据。
数仓建设 | ODS、DWD、DWM等理论实战（好文收藏）
yuan_more的博客
04-13 5051
本文目录： 一、数据流向 二、应用示例 三、何为数仓DW 四、为何要分层 五、数据分层 六、数据集市 七、问题总结 导读 数仓在建设过程中，对数据的组织管理上，不仅要根据业务进行纵向的主题域划分，还需要横向的数仓分层规范。本文作者围绕企业数仓分层展开分析，希望对你有帮助。 因文章太长，本文不是完结版，文末可获取完整PDF版 从事数仓相关工作的人员都知道数仓模型设计的首要工作之一就是进行模型分层，可见模型分层在模型设计过程中的重要性，确实优秀的分层设计是一个数仓项目能否建设成功的核心要素，让数
数仓分层——ODS、DW、ADS
麦当当的博客
05-07 5894
ODS（Operational Data Store，运营数据存储）是数据仓库体系结构中的一个重要组成部分，通常作为数据仓库架构中的第一个层次或者与原始数据层紧密相关。ODS 层主要用于存储和处理来自业务应用系统的实时、操作性数据，提供给业务用户和决策者进行日常的操作性查询和分析。数据来源： ODS 层的数据主要来自于组织内部的业务应用系统，如企业资源计划（ERP）、客户关系管理（CRM）、销售、采购、库存管理系统等。这些系统产生的数据通常是实时、操作性的，包含了组织的日常业务活动的详细信息。数据存储。
详解数据仓库和数据集市：ODS、DW、DWD、DWM、DWS、ADS
a934079371的博客
11-28 3096
点击上方 "大数据肌肉猿"关注,星标一起成长点击下方链接，进入高质量学习交流群今日更新| 1052个转型案例分享-大数据交流群一、数据流向二、应用示例三、何为数仓DWData warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-...
《数据仓库》一文读懂数据仓库建设
https://blog.datasource.space
04-15 1万+
数据仓库建设 一、数据仓库概念 1.数仓架构 ​ 我们在谈到数据仓库，都会提到数仓架构，那么数仓架构到底是什么呢？首先，架构就是把一个整体工作按需切分成不同部分的内容，由不同角色来完成这些分工，并通过建立不同部分相互沟通的机制，使得这些部分能够有机的结合为一个整体，并完成这个整体所需要的所有活动。而数仓架构就可以理解为是构成数据仓库的组件以及之间的具有交互机制的关系。 ​ 如上图所示，数仓的数据源可能来自业务系统的数据，或者外部获取的数据，或者从线下文件导入的数据。通过抽取工作，将这些数据存储到数仓的原始
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最佳第六六六人

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值