Flink
文章平均质量分 82
小猫不会去楼兰捉虫
这个作者很懒,什么都没留下…
展开
-
Flink04: Flink核心API之DataSet
DataSet API主要可以分为3块来分析:DataSource、Transformation、Sink。原创 2023-02-22 21:33:22 · 1262 阅读 · 1 评论 -
Flink04: Flink核心API之DataStream
Flink中提供了4种不同层次的API,每种API在简洁和易表达之间有自己的权衡,适用于不同的场景。目前上面3个会用得比较多。• 低级API(Stateful Stream Processing):提供了对时间和状态的细粒度控制,简洁性和易用性较差,主要应用在一些复杂事件处理逻辑上。原创 2023-02-21 23:28:13 · 630 阅读 · 0 评论 -
org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy
pom.xml中某个jar包scala版本与运行环境flink Scala不一致导致的。比如,我的scala版本是2.12,而用了redis依赖支持的scala版本是2.11。将redis版本改为1.1.0 (支持scala2.12)原创 2023-02-19 17:46:05 · 2317 阅读 · 0 评论 -
Flink03: 集群安装部署
Flink支持多种安装部署方式这些安装方式我们主要讲一下standalone和on yarn。如果是一个独立环境的话,可能会用到standalone集群模式。在生产环境下一般还是用on yarn 这种模式比较多,因为这样可以综合利用集群资源。和我们之前讲的spark on yarn是一样的效果,这个时候我们的Hadoop集群上面既可以运行MapReduce任务,Spark任务,还可以运行Flink任务,一举三得。原创 2023-02-19 15:55:53 · 1017 阅读 · 0 评论 -
Flink02:Flink快速上手(Streaming WorldCount)
(1)先把Flink的开发环境配置好。(2)创建maven项目:db_flink(3)首先在model中将scala依赖添加进来。(4)然后创建scala目录,因为针对flink我们会使用java和scala两种语言(5)创建包名在src/main/java下创建 com.imooc.java在src/main/scala下创建 com.imooc.scala。原创 2023-02-19 11:58:11 · 659 阅读 · 0 评论 -
Flink01: 基本介绍
1. Flink是一个开源的分布式,高性能,高可用,准确的流处理框架(1)分布式:表示flink程序可以运行在很多台机器上,(2)高性能:表示Flink处理性能比较高(3)高可用:表示flink的稳定性和可用性是比较好的。(4)准确的:表示flink可以保证处理数据的准确性。2. Flink支持流(Stream)处理和批处理(Batch)其实对于flink而言,它是一个流处理框架,批处理只是流处理的一个极限特例而已。原创 2023-02-19 11:15:44 · 480 阅读 · 0 评论