大数据FLINK实时数仓项目实战

本文详细介绍了基于Flink构建实时数仓的全过程,从项目分层、日志与数据库数据采集,到DWD、DWM、DWS层的构建,再到数据可视化接口实现。内容涵盖日志生成器、Maxwell用于数据库数据采集,以及在ClickHouse中创建各种主题宽表。文章还展示了数据大屏的配置和接口开发,以及常见问题排查。
摘要由CSDN通过智能技术生成

一、FLINK实时数仓项目简介

1、​​​​​​普通实时计算与实时数仓比较

普通的实时计算优先考虑时效性,所以从数据源采集经过实时计算直接得到结果。如此做时效性更好,但是弊端是由于计算过程中的中间结果没有沉淀下来,所以当面对大量实时需求的时候,计算的复用性较差,开发成本随着需求增加直线上升。

实时数仓基于一定的数据仓库理念,对数据处理流程进行规划、分层,目的是提高数据的复用性。 

2、实时数仓项目分层

  • ODS

原始数据,日志和业务数据 。

  • DWD

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wespten

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值