Flink电商实时数仓项目02-DWD层

最新推荐文章于 2023-12-25 17:58:17 发布

最佳第六六六人

最新推荐文章于 2023-12-25 17:58:17 发布

阅读量497

点赞数 2

分类专栏：大数据项目实战文章标签： Flink 电商数仓

本文链接：https://blog.csdn.net/qq_43523503/article/details/114424771

版权

大数据项目实战专栏收录该内容

9 篇文章 20 订阅 ¥19.90 ¥99.00

订阅专栏

本文详细介绍了使用Flink构建电商实时数仓DWD层的实现过程，包括需求分析、环境搭建、用户行为日志的处理与业务数据的动态分流。主要任务涉及识别新老用户、数据分流、精准一次性处理以及动态分流到HBase和Kafka。通过Flink的侧输出流和Kafka的精准一次性特性，确保数据准确无误地流转。

摘要由CSDN通过智能技术生成

1 需求分析及实现思路

1.1 分层需求分析

1.1.1 实时数仓为什么要分层？

建设实时数仓的目的，主要是为了增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。

比如直接从dwd、dim、dwm、dws取数据。

1.2 每层的职能

分层	数据描述	生成计算工具	存储媒介
ODS	原始数据，日志和业务数据	日志服务器，maxwell	kafka
DWD	根据数据对象为单位进行分流，比如订单、页面访问等等。

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

最佳第六六六人

关注关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

Flink电商实时数仓项目05-数据可视化

qq_43523503的博客

03-06

625

1 数据可视化接口 1.1 设计思路之前把轻度聚合的结果都保存到了ClickHouse中，主要目的就是提供即时的数据查询、统计、分析服务。这些统计服务一般会用两种形式展示，一种是为专业的数据分析人员的BI工具，另一种是为非专业人员提供更加直观的数据大屏。下面主要是面向百度的sugar的数据大屏服务的接口开发。 1.2 需求梳理 1.2.1 最终效果 1.2.2 分析可视化大屏组件名称组件查询指标对应的数据表总成交金额数字翻牌订单总金额 product_stats

Flink电商实时数仓项目01-ODS层

qq_43523503的博客

03-06

994

Flink电商实时数仓项目 - 数据采集 1 电商实时数仓项目概述 1.1 数据分层分析离线数仓项目的分层为： ODS、DWD、DWS、DWT、ADS flink实时数仓项目的分层为： ODS、DWD、DIM、DWM、DWS、ADS 其中ODS层为原始数据层；DWD层详细数据层，根据数据对象为单位进行分流，比如订单、页面访问等；DIM层维度数据层；DWM层对部分数据对象进一步加工，比如独立访问、跳出行为，也可以与维度进行关联，形成宽表，依旧是明细数据；DWS层根据某个主题将多个实时数据轻度聚合，

参与评论您还未登录，请先登录后发表或查看评论

Flink实时电商数仓（一）

qq_44273739的博客

12-17

472

为数据分析而设计的企业级数据管理系统。常用的存储系统是Hadoop的HDFS文件系统，使用Hive进行数据计算，并将结果导入HDFS。离线数仓最明显的特点是T+1模式，今天只能算昨天的数据，时效性不够优秀。

12-21

qq_44273739的博客

12-25

1017

dwd层其他的事实表都是从topic_db中去业务数据库一张表的变更数据，按照某些过滤后写入kafka的对应主题，它们处理逻辑相似且较为简单，可以结合配置表动态分流在同一个程序中处理。有点类似我们前面实现DIM层的动态配置。

02Flink实时数仓（尚硅谷）- DWD层数据准备

qq_24095055的博客

07-22

1276

实时数仓

【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集

prague6695的博客

07-14

4206

【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集

Flink电商实时数仓项目03-DWM层

qq_43523503的博客

03-06

1271

1 DWM层与DWS层的设计思路 1.1 设计思路用户行为日志：模拟日志jar -> nginx -> web日志服务器 -> kafka(ods_base_log) -> flink(BaseLogApp) -分流-> kafka(dwd_page_log|dwd_start_log|dwd_display_log) ->接下来要对数据做简单的处理，为后面的dws层的数据做准备，所以我们这里需要将数据做处理发送到 dwm层业务数据：模拟数据jar ->

大数据Flink电商实时数仓实战项目流程全解(二）

日句灬的博客

07-29

1546

从这篇内容开始就是项目的正式过程了，接下来我将以思路和项目过程为主来进行讲解，部分过程我也会对代码部分内容进行讲解。前提条件：对应的hadoop集群要有，具体配置方法和版本见第一节内容；phoenix、clickhouse、springboot、redis等框架的使用，我会在用到的时候再介绍，也可以自己根据下载包里的文档内容进行了解，文章不做详细介绍。第一部分日志采集日志生成这里采用模拟jar包的方式，参数调整在对应的application.yml中进行： //以下为需要主要调整的内容，修改为当天

美团点评基于Flink的实时数仓建设实践

02-24

近些年，企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过Flink引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。本文主要阐述使用Flink在实际数据生产上的经验。在实时数据系统建设初期，由于对实时数据的需求较少，形成不了完整的数据体系。我们采用的是“一路到底”的开发模式：通过在实时计算平台上部署Storm作业处理实时数据队列来提取数据指标，直接推送到实时应用服务中。但是，随着产品和业务人员对实时数据需求的不断增多，新的挑战也随之发生。数据指标越来越多，“烟囱式”的开发导致代码耦合问题严重。需求越来越多，有的需要明细数据，有的需

【实时数仓】DWD层需求分析及实现思路、idea环境搭建、实现DWD层处理用户行为日志的功能

weixin_43923463的博客

12-12

1255

建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。这里从kafka的ods层读取用户行为日志以及业务数据，并进行简单处理，写回到kafka作为dwd层。前端埋点中的数据全部放在kafka中ods_base_log主题中，如启动日志，页面访问日志，曝光日志等。虽然同是日志，但是却分为不同的种类，将来做数据统计时，全部从这一个主题中获取数据不方便。所以需要从ods_base_log主题中将数据取出来，根据日志的类型，将不同类型的数据放到不同

Flink实践:跨境电商 Shopee 的实时数仓之路

ytp552200ytp的博客

07-09

398

问题导读： 1、为什么要建立实时数仓？ 2、Flink 在实时数据数仓建设中结合 Druid、Hive 有哪些应用场景？ 3、实时任务监控如何实现？ 4、Streaming SQL 如何平台化？导读：本文讲述 Flink 在 Shopee 新加坡数据组 ( Shopee Singapore Data Team ) 的应用实践，主要内容包括：实时数仓建设背景 Flink 在实时数据数仓建设中结合 Druid、Hive 的应用场景 ...

flink实时数仓(二)之dwd层

bigdata_wangzhe的博客

03-24

856

我们这里从kafka的ods层读取用户行为日志以及业务数据，并进行简单处理，写回到kafka作为dwd层。每层的职能分层数据描述生成计算工具存储媒介 ODS 原始数据，日志和业务数据日志服务器， maxwell kafka DWD 根据数据对象为单位进行分流，比如订单、页面访问等等。 FLINK kafka DWM 对于部分数据对象进行进一步加工，比如独立访问、跳出行为。依旧是明细数据。 FLINK DIM 维度数据 FLINK HBase DWS 根据某个维度

ClickHouse05

weixin_45922185的博客

11-22

1572

分片集群副本虽然能够提高数据的可用性，降低丢失风险，但是每台服务器实际上必须容纳全量数据，对数据的横向扩容没有解决。要解决数据水平切分的问题，需要引入分片的概念。通过分片把一份完整的数据进行切分，不同的分片分布到不同的节点上，再通过 Distributed 表引擎把数据拼接起来一同使用。 Distributed 表引擎本身不存储数据，有点类似于 MyCat 之于 MySql，成为一种中间件，通过分布式逻辑表来写入、分发、路由来操作多台节点不同分片的分布式数据。注意：ClickHouse 的集群是

Flink实时电商数仓（二）

qq_44273739的博客

12-19

1224

【代码】Flink实时电商数仓（二）

(08)副本

song_quan_的博客

08-03

119

副本的目的主要是保障数据的高可用性，即使一台 ClickHouse 节点宕机，那么也可以从其他服务器获得相同的数据。 6.1 副本写入流程 6.2 配置步骤 ➢ 启动 zookeeper 集群 ➢ 在hadoop202的/etc/clickhouse-server/config.d目录下创建一个名为metrika.xml 的配置文件,内容如下： ➢ 同步到 hadoop203 和 hadoop204 上 sudo /home/atguig..

大数据技术Flink电商实时数仓-数据采集--第一章实时数据介绍

jsp_will的博客

05-14

488

1.1 普通实时计算与实时数仓的比较普通实时计算优先考虑时效性，所以从数据采集经过实时计算直接得到结果，如此做时效性更好，但是弊端是由于计算过程中的中间结果没有沉淀下来，所以面对大量实时需求的时候，计算的复用性较差，开发成本随着需求直线上升。实时数仓基于一定的数据仓库理论，对数据处理流程进行规划，分层，目的是提高数据的复用性。 1.2 实时电商数仓，项目分为以下几层 ODS ：原始数据，日志和业务数据。 DWD：根据数据对象为单位进行分流，比如订单，页面访问等等。 DIM：维度.

实时数仓：网易严选基于Flink的实时数仓实践

GIS摆渡人

07-28

853

未来展望从三个方面第一，性能方面。模型用MySQL效率不高，后期迁移到ES上；维度表落地到Redis上进一步提高吞吐量。第二，开发效率。开发是SQL和API两种并存，开发效率不高，后期往SQL迁移，由于SQL本身局限，进行UDF扩展。第三，数据质量。目前主要是侧面辅助决策，希望对舒适数据准确性校验实现比较通用的规范，开发一些工具完成这些工作。httpshttpshttpshttpshttpshttpshttpshttpshttpshttps。...

Flink驱动的电商实时数仓DWD层数据准备详解（V2.0）

本资源是关于大数据技术的深入解析，特别关注于...通过这个V2.0版本的文档，读者可以学习如何基于Flink构建实时数仓的DWD层，了解每一步的具体实施方法和所使用的工具，这对于理解和实践大数据处理工作具有很高的价值。