实时数仓、基于Flink1.11的SQL构建实时数仓（待完善）

最新推荐文章于 2024-08-14 17:14:53 发布
置顶 最新推荐文章于 2024-08-14 17:14:53 发布
阅读量608 收藏 2
点赞数 1
分类专栏： 技术篇 文章标签： flink hadoop kafka 实时大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ddyun/article/details/111221483
版权

实时数仓、基于Flink1.11的SQL构建实时数仓

目录

实时数仓、基于Flink1.11的SQL构建实时数仓

搭建hadoop环境

搭建kafka集群

搭建flink集群

搭建hive集群

实时数仓简述

本次实时数仓数据架构

本次实时数仓技术架构

 

环境说明

5台虚拟机     CentOS Linux release 7.3.1611   规划如下，注：集群所有组件都在root下安装和启动。

192.168.137.121 m1
192.168.137.122 m2
192.168.137.123 s1
192.168.137.124 s2
192.168.137.125 s3

 角色zookeeperhdfskafkaflinkhive

m1

ResourceManager
NameNode
Kafka
DFSZKFailoverController

RunJar

 √√ √
m2

DFSZKFailoverController
ResourceManager
NameNode
Kafka

RunJar

 √√ √
s1Kafka
QuorumPeerMain
DataNode
NodeManager
JournalNode
StandaloneSessionClusterEntrypoint
TaskManagerRunner		√√√√ 
s2JournalNode
DataNode
TaskManagerRunner
StandaloneSessionClusterEntrypoint
QuorumPeerMain
NodeManager		√√ √ 
s3TaskManagerRunner
DataNode
JournalNode
QuorumPeerMain
NodeManager		√

√

 √ 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

搭建hadoop环境

操作步骤见我的博客：实时数仓、基于Flink1.11的SQL构建实时数仓 之搭建hadoop HA集群

搭建kafka集群

详见我的博客：实时数仓、基于Flink1.11的SQL构建实时数仓 之kafka集群搭建

搭建flink集群

详见我的博客：实时数仓、基于Flink1.11的SQL构建实时数仓 之搭建flink集群

搭建hive集群

详见我的博客：实时数仓、基于Flink1.11的SQL构建实时数仓 之hive集群

实时数仓简述

详见我转载的博客：实时数仓

 

本次实时数仓数据架构

 

本次实时数仓技术架构

 

文章还未写完，最近琐事有点多，稍等慢慢补上，将会有实时数仓的全部操作，设计实时数据仓库场景两个，1.简单实时数据加工    2.实时交易反欺诈。

先提供一些截图：

flink中实时表

flink中实时作业

kafka中topic

 

 

 

 

 

源远流云
关注
专栏目录
Flink SQL 1.11新功能详解：Hive 数仓实时化 & Flink SQL + CDC 实践
微信搜：import_bigdata，大数据领域硬核原创作者
07-20 1186
问题导读 1.Flink 1.11 有哪些新功能？ 2.如何使用 flink-cdc-connectors 捕获 MySQL 和 Postgres 的数据变更? 3.怎样利用 Flink SQL 做多流 join 后实时同步到 Elasticsearch 中？ 1 Flink 1.8 ~ 1.11 社区发展趋势回顾 自 2019 年初阿里巴巴宣布向 Flink 社区贡献 Blink 源码并在同年 4 月发布 Flink 1.8 版本后，Flink 在社区的活跃程度犹如坐上小火箭般上升，每个版本包含的 git
基于 Flink + Hive 构建流批一体准实时数仓
阿里云技术
10-09 254
基于 Hive 的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive 数仓有很高的成熟度和稳定性，但由于它是离线的，延时很大。在一些对延时要求比较高的场景，需要另外搭建基于 Flink 的实时数仓，将链路延时降低到秒级。但是一套离线数仓加一套实时数仓的架构会带来超过两倍的资源消耗，甚至导致重复开发。 想要搭建流式链路就必须得抛弃现有的 Hive 数仓吗？并不是，借助 Flink 可以实现已有的 Hive 离线数仓准实时化。本文整理自 Apache Flink Committer、阿里巴巴技术专家李
实时数仓|基于Flink1.11的SQL构建实时数仓探索实践
jmx_bigdata的博客
08-16 1674
实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。虽然关于实时数仓的架构及技术选型与传统的离线数仓会存在差异，但是关于数仓建设的基本方法论是一致的。本文会分享基于Flink SQL从0到1搭建一个实时数仓的demo，涉及数据采集、存储、计算、可视化整个处理流程。通过本文你可以了解到： 实时数仓的基本架构 实时数仓的数据处理流程 Flink1.11的SQL新特性 Flink1.11存在的bug 完整的操作案例 古人学问无遗力，
OPPO 数据中台之基石：基于 Flink SQL 构建实数据仓库
weixin_33738555的博客
01-18 901
2019独角兽企业重金招聘Python工程师标准>>> ...
构建实时数据仓库：流式处理与实时计算技术解析
最新发布
oOBubbleX的博客
08-14 1419
现在大数据应用比较火爆的领域，比如推荐系统在实践之初受技术所限，可能要一分钟、一小时、甚至更久才能对用户进行推荐，这远远不能满足需要，我们需要更快的完成对数据的处理，而不是进行离线的批处理。Lambda架构经历多年的发展，其优点是稳定，对于实时计算部分的计算成本可控，批量处理可以用晚上的时间来整体批量计算，这样把实时计算和离线计算高峰分开，这种架构支撑了数据行业的早期发展，但是它也有一些致命缺点，并在当今时代越来越不适应数据分析业务的需求。所以在传统数据仓库的基础上，逐渐对数据的实时性提出了更高的要求。
实时数仓入门训练营：实时计算 Flink 版 SQL 实践
阿里云云栖号
07-15 1297
简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算 Flink 版和 Hologres 的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实操应用，7 门精品课程帮助你 5 天时间从小白成长为大牛！ 本文整理自直播《实时计算 Flink 版 SQL 实践-李麟（海豹）》 视频链接:https://c.tb.cn/F3.0dBssY 内容简.
实时数仓搭建文档分享.pdf
04-24
基于Flink的严选实时数仓实践文档，是将项目PPT转成pdf文档，原作者以网易实际数据作为基础进行分享搭建过程。
Flink SQL搭建实时数仓DWD层
大数据研习社
08-01 1370
Flink SQL 搭建实时数仓，极大减少了开发复杂度，提高了项目开发效率
Flink Hologres云原生实时数仓最佳实践.pdf
06-19
《Flink Hologres云原生实时数仓最佳实践》这篇文档主要探讨了现代企业如何构建和优化实时数仓，特别是在云原生环境下的最佳实践。实时数仓旨在解决传统数据仓库的延迟问题，提供更实时的数据分析能力，帮助企业快速...
Flink 1.11 SQL 使用攻略
u013939918的博客
07-27 6762
7 月 6 日，Apache Flink 1.11 正式发布。从 3 月初进行功能规划到 7 月初正式发版，1.11 用将近 4 个月的时间重点优化了 Flink 的易用性问题，提升用户的生产使用体验。 SQL 作为 Flink 中公认的核心模块之一，对推动 Flink 流批一体功能的完善至关重要。在 1.11 中，Flink SQL 也进行了大量的增强与完善，开发大功能 10 余项，不仅扩大了应用场景，还简化了流程，上手操作更简单。 其中，值得注意的改动包括： 默认 Plann...
实时数仓搭建
weixin_64261178的博客
07-08 1528
本项目针对实时数仓中的dim层，使用flik获取维度数据以及维度表结构把处理过的数据和维度表同步到habse中，同步采用的是雪花模型，遵循三范式，对维度数据进行实时的增删改查。对维度表进行动态拆分功能。动态拆分功能就是使用flink-CDC对维度配置表进行实时监控，如果新增了一张维度表，hbase中也新增这张维度表，如果删除一张表同样在hbase中也删除这张表。最终将编译代码上传到gitlab上。
实时数仓搭建（一）
m0_50896456的博客
08-01 1185
文章目录实时数仓搭建一、实时数仓介绍普通实时计算和实时数仓比较实时数仓的分层二、实时需求概览离线计算与实时计算的比较实时需求种类日常统计报表或分析图中需要包含当日部分实时数据大屏监控数据预警或提示实时推荐系统三、日志数据模拟模拟日志生成器的使用日志采集模块-本地测试Springboot简介快速搭建Springboot程序gmall2021-logger，采集模拟生成的日志数据开始测试 实时数仓搭建 一、实时数仓介绍 普通实时计算和实时数仓比较 普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得
实时数仓建设第2问：怎样使用flink sql快速无脑统计当天下单各流程（已发货，确认收货等等）状态的订单数量
懒松鼠Flink
06-12 1717
因为每笔订单的状态会发生变化，比如上午为【已支付待卖家发货】，这个时候【已支付待卖家发货】指标数要+1，下午订单的状态变更为【卖家通知物流揽收】，这个时候【卖家通知物流揽收】指标数要+1，而【已支付待卖家发货】指标数要-1。能够得到我们期望的结果，必须使得进入该SQL的数据流由append流变成update/retract流。否则就要根据binlog消息的update /delete情况编写这个减去的逻辑。实时统计当天下单各流程状态(已支付待卖家发货，卖家通知物流揽收，待买家收货等等)中的订单数量。
Flink实时数仓同步：实时表、流水表、快照表整合实战详解
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
03-11 3015
Flink实时数仓同步：实时表、流水表、快照表整合实战详解
Flink SQL之维表join-----实时数仓
感谢你的关注~~~~ღ( ´･ᴗ･` )
09-01 385
https://blog.csdn.net/jmx_bigdata/article/details/107872332 写的还不错~~~~~
基于Flink SQL构建流批一体实时数仓
weixin_45727359的博客
01-12 336
基于Flink构建流批一体的实时数仓是目前数据仓库领域比较火的实践方案。随着Flink的不断迭代，其提供的一系列技术特性使得用户构建流批一体的应用变得越来越方便。本文主要分享基于FinkS...
滴滴实时数仓：Flink实践与2022年解决方案
本篇文档是关于滴滴公司基于Apache Flink构建实时数仓的实践案例。它提供了一个深入的洞察，涵盖了从2022年精品解决方案到实际业务场景的多个关键环节。以下是主要内容概要： 1. **整体概况**: 文档首先概述了滴滴...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值