Flink
文章平均质量分 69
xlw2003
这个作者很懒,什么都没留下…
展开
-
2022-2023赛季高职大数据竞赛-赛规任务剖析
2022-2023赛季高职大数据竞赛-赛规任务剖析转载 2022-12-07 09:47:47 · 2314 阅读 · 0 评论 -
最新2022年高职大数据国赛任务书详解与模拟练习
最新2022年高职大数据国赛任务书详解与模拟练习原创 2022-04-01 09:18:50 · 1769 阅读 · 0 评论 -
2011-2022年高职大数据竞赛-赛题任务剖析
本系列共分五篇,内容分别为:第一部分 赛题内容 第二部分 任务剖析 第三部分 赛题模拟实现-离线数据抽取 第四部分 赛题模拟实现-离线数据统计 第五部分 赛题模拟实现-数据采集与实时计算 第六部分 赛题模拟实现-数据可视化(一)任务一:大数据平台环境搭建具体内容按照大数据分析平台需求,需要完成Hadoop完全分布式、Spark安装配置、Flink安装配置、Hive安装配置、Kafka安装配置、Flume安装配置。分析Hadoop完全分布式:请参考Hadoop-3.2.1环境搭转载 2022-03-21 10:10:32 · 2859 阅读 · 0 评论 -
某物流公司运输车辆超速实时检测案例(数据源 + Kafka + Flink + Spring MVC + WebSocket + ECharts)
综合运用Flink实时数据处理技术,对Kafka收集到的运输车辆实时监控数据进行分析,运用模式检测及时发现超速车辆,并在服务端通过仪表盘实时告警。转载 2021-11-24 10:17:38 · 751 阅读 · 0 评论 -
《Flink实用教程_Flink 1.13.2》简介
《Flink实用教程》.pdf,基于Flink 1.13.2,所有示例和案例均提供Java和Scala两个版本的实现。预览版下载:这里下载原创 2021-11-10 17:23:48 · 1088 阅读 · 0 评论 -
准备Flink开发环境-使用IntelliJ IDEA+Maven开发Flink项目
摘自拙作《Flink实用教程_1.13.2》一书。对于熟悉Maven操作的读者来说,可以象上一节讲的那样,先在命令行用Maven命令快速生成Flink基本程序框架,然后导入到IDE中进一步开发。如果读者更熟悉IDE(例如,IntelliJ IDEA)的话,那么可以直接在IntelliJ IDEA中开发Maven程序。通过结合使用IntelliJ IDEA集成开发工具和Maven项目构建工具,我们可以方便快速地开发Flink项目。一、在IntelliJ IDEA中创建Flink项目第一步:启动.原创 2021-10-29 09:50:39 · 1569 阅读 · 0 评论 -
Flink架构和执行原理
摘自拙作《Flink实用教程_1.13.2》一书。在大数据领域,有许多流计算框架,但是通常很难兼顾延迟性和吞吐量。Apache Storm提供低延迟,但目前不提供高吞吐量,也不支持在发生故障时正确处理状态。Apache Spark Streaming的微批处理方法实现了高吞吐量的容错性,但是难以实现真正的低延时和实时处理,并且表达能力方面也不是特别丰富。而Apache Flink兼顾了低延迟和高吞吐量,是企业部署流计算时的首选。1、Flink架构Flink 是可以运行在多种不同的环境中的,例.原创 2021-10-29 09:44:11 · 2018 阅读 · 0 评论 -
深入理解Flink中的TumblingWindow
在了解TumblingWindow之前,首先让我们对当涉及到流处理或流计算时的“窗口”有一个基本的了解。在数据流中,有一个持续生成数据的源,这使得计算最终值变得不可行。“窗口”定义了无界流上的有限元素集,我们可以在其上应用计算。这个集合可以基于时间、元素计数、计数和时间的组合,或者一些自定义逻辑来为窗口分配元素。例如:每分钟收到的订单数量(固定时间) 完成最后100个订单的平均时间(固定元素)流框架厂商实现了一个多种类型的“窗口”定义。Flink有三种类型翻滚窗口(又称为”滚动窗口“) 滑原创 2021-10-29 09:37:56 · 959 阅读 · 0 评论