![](https://img-blog.csdnimg.cn/20210102204256303.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink
文章平均质量分 63
.
落花流水i
致明日的舞
展开
-
Flink流处理Window API之窗口函数
接上篇Flink中流处理之Window,上节中我们提到了可以为窗口设置滚动窗口,滑动窗口等,在设置后其实不能就这样结束了,我们还需要在窗口中指定如何计算,从而引入了窗口函数的概念,一旦窗口关闭, window function 去计算处理窗口中的每个元素.window function 定义了要对窗口中收集的数据做的计算操作,主要可以分为两类(注意在使用窗口函数之前一定需要KeyBy分组):增量聚合函数每条数据到来就进行计算,保持一个简单的状态。典型的增量聚合函数有ReduceFunction,原创 2021-09-06 21:01:04 · 254 阅读 · 0 评论 -
Flink中Transform操作之union和connect
关于Transform中的union操作:对两个或者两个以上的相同类型的DataStream进行union操作,产生一个包含所有DataStream元素的新DataStream例如:将3个通类型的流进行合并DataStreamSource<Integer> stream1 = env.fromElements(1, 2, 3, 4, 5);DataStreamSource<Integer> stream2 = env.fromElements(10, 20, 30, 40,原创 2021-09-03 22:49:45 · 645 阅读 · 1 评论 -
Flink读取Kafka Source中数据做WordCount
添加相应的依赖:<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId> <version>1.12.0</version></dependency>pom文件<?xml version="1.0" encoding="UTF-8原创 2021-09-03 20:41:05 · 289 阅读 · 0 评论 -
Flink运行架构之对Flink中的Slot概念的理解
在讲Slot之前建议先看上文https://blog.csdn.net/weixin_44080445/article/details/120008414翻译官网可以得到如下内容1.Flink中每一个worker(TaskManager)都是一个JVM进程,它可能会在独立的线程上执行一个Task。为了控制一个worker能接收多少个task(这里的task可以理解为上文里面经过合并后subtask的数量),worker通过Task Slot来进行控制(一个worker至少有一个Task Slot)。原创 2021-08-31 10:58:53 · 1615 阅读 · 0 评论 -
Flink运行架构之运行时组件
Flink运行时架构主要包括四个不同的组件,它们会在运行流处理应用程序时协同工作:其中包括作业管理器(JobManager)、资源管理器(ResourceManager)、任务管理器(TaskManager),以及分发器(Dispatcher)。JobManager:控制一个应用程序执行的主进程,也就是说,每个应用程序都会被一个不同的JobManager 所控制执行.接收到要执行的应用程序,这个应用程序会包括:作业图(JobGraph)、逻辑数据流图(logical dataflow gra原创 2021-08-31 10:10:28 · 341 阅读 · 0 评论 -
详解Flink中yarn部署模式以及测试
在Flink中一共有三种部署模式,分别为local,standalone和yarn模式,由于前两者主要是用于开发和测试,本文将不再赘述,企业中用的更多的是yarn模式,关于yarn模式下为什么比standalon模式要好主要有一下几个方面1.资源按需使用,不会因为各自内置的调度争抢资源,在者类似于像spark,flink等框架他们的主要强大之处在于是计算,调度的话还是yarn是强项,从而可以提高集群的利用率。2.对于yarn来说,任务有优先级,根据优先级运行作业。3.基于Yarn调度系统可以自动化的处原创 2021-08-26 23:53:16 · 5662 阅读 · 2 评论 -
flink读取kafka实时数据sink到mysql(scala版)
pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/x原创 2021-01-31 21:43:26 · 1086 阅读 · 2 评论 -
解决SLF4J: Failed to load class “org.slf4j.impl.StaticLoggerBinder”
最近一段时间每次运行Flink demo时maven项目总会弹出如下的内容,虽然不影响结果的输出,但是对于强迫症的我还是决定解决这个问题。第一行翻译过来也就是不能加载org.slf4j.impl.StaticLoggerBinder这个类,于是去maven官方网站上搜索了一下org.slf4j,我选择的是1.7.2版本的slf4j-api,亲测有效,再次输出结果时便没有这个错误的提示,特此记录一下。<dependency> <groupId>org.slf4j</原创 2021-01-27 22:21:14 · 2322 阅读 · 0 评论 -
Exception in thread “main“ org.apache.flink.table.api.NoMatchingTableFactoryException
今天在做Flink Tab Api中从kafka读取数据源时运行报错,Exception in thread "main" org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table factory for 'org.apache.flink.table.factories.DeserializationSchemaFactory' in the classpath经查阅资料得知,本原创 2021-01-27 16:05:38 · 1104 阅读 · 1 评论 -
Flink之时间语义与Wartermark实例详解
目录1:时间语义的引出1.1时间语义的定义1.2三种时间语义的优缺点:1.3关于EventTime的引入:2:Wartermark2.1非理想情况下所引出的Wartermark:2.2Wartermark概述:2.3Wartermark的特点2.4图解Wartermark1:时间语义的引出在说时间语义时我们引出一个小案例,在平时日常生活中,我们在上下班做地铁的途中为了消磨时间难免会玩会游戏,假设某个游戏设定在一分钟之内可以通过几关就奖励几关的积分,张三在游戏开始的前45秒已经通了3关,然而在45秒以后地原创 2021-01-04 19:52:50 · 593 阅读 · 0 评论 -
Apache Flink中流处理之Window详解
目录1.关于Window1.1Window概述1.2Window的类型1.2.1关于TimeWindow的详细描述1.2.2关于窗口式Flink程序1.3WindowAPI测试1.关于Window1.1Window概述Windows are at the heart of processing infinite streams. Windows split the stream into “buckets” of finite size, over which we can applycomputat原创 2021-01-03 21:33:09 · 242 阅读 · 0 评论