Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。而Flink中的时间类型和窗口是非常重要概念,也是学习Flink必须要掌握的两个知识点。今天我们就来探讨一下这两个知识点。
Flink中的时间类型
===========
时间类型介绍
Flink流式处理中支持不同类型的时间。分为以下几种:
- 处理时间
-
Flink程序执行对应操作的系统时间。所有基于时间的操作(例如:时间窗口)都将使用运行相应operator的系统时间。例如:每个小时的处理时间窗口包括在系统时间范围内所有operator接收到的记录。例如:如果应用程序在09:15开始运行,则第一个滚动时间窗口将包括:09:15 – 10:00 之间的处理事件,下一个窗口包括上午10:00 – 11:00之间的处理事件
-
这种处理时间方式实时性是最好的,但数据未必准确
- 事件时间
-
每个事件发生的时间。这个时间一般是在进入到Flink之前就包含在事件中
-
针对Eventtime,事件被处理的时间以来与事件本身
-
Eventtime必须要指定如何生成Eventtime Watermark(水印)
-
理想情况,不管事件何时到达或者顺序如何,事件时间处理能够得到完整一致地结果。
-
事件处理在等待乱序事件时,会产生一些延迟。这样会对Eventtime的应用性能有一定的影响
- 摄入时间
-
摄入时间是事件进入Flink的时间
-
在source operator中,每个记录以时间戳的形式获取源的当前时间
-
它在概念是处于事件时间和处理时间中间
-
摄入时间不能处理乱序问题或者延迟数据,摄入时间可以由流式系统自动生成水印
Flink代码中设置时间类型
通常,我们在Flink初始化流式运行环境时,就会设置流处理时间特性。这个设置很重要,它决定了数据流的行为方式。(例如:是否需要给事件分配时间戳),以及窗口操作应该使用什么样的时间类型。例如:KeyedStream.timeWindow(Time.seconds(30))。
我们接下来通过实现一个每5秒中进行一次单词计数的案例,来说明Flink中如何指定时间类型。
public class WordCountWindow {
public static void main(String[] args) throws Exception {
// 1. 初始化流式运行环境
Configuration conf = new Configuration();
StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(conf);
// 2. 设置时间处理类型,这里设置的方式处理时间
env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime);
// 3. 定义数据源,每秒发送一个hadoop单词
DataStreamSource wordDS = env.addSource(new RichSourceFunction() {
private boolean isCanaled = false;
@Override
public void run(SourceContext ctx) throws Exception {
while (!isCanaled) {
ctx.collect(“hadooop”);
Thread.sleep(1000);
}
}
@Override
public void cancel() {
isCanaled = true;
}
});
// 4. 每5秒进行一次,分组统计
// 4.1 转换为元组
wordDS.map(word -> Tuple2.of(word, 1))
// 指定返回类型
.returns(Types.TUPLE(Types.STRING, Types.INT))
// 按照单词进行分组
.keyBy(t -> t.f0)
// 滚动窗口,3秒计算一次
.timeWindow(Time.seconds(3))
.reduce(new ReduceFunction<Tuple2<String, Integer>>() {
@Override
public Tuple2<String, Integer> reduce(Tuple2<String, Integer> value1, Tuple2<String, Integer> value2) throws Exception {
return Tuple2.of(value1.f0, value1.f1 + value2.f1);
}
}, new RichWindowFunction<Tuple2<String, Integer>, Tuple2<String, Integer>, String, TimeWindow>() {
@Override
public void apply(String word, TimeWindow window, Iterable<Tuple2<String, Integer>> input, Collector<Tuple2<String, Integer>> out) throws Exception {
// 打印窗口开始、结束时间
SimpleDateFormat sdf = new SimpleDateFormat(“yyyy-MM-dd HH:mm:ss”);
System.out.println(“窗口开始时间:” + sdf.format(window.getStart())
-
" 窗口结束时间:" + sdf.format(window.getEnd())
-
" 窗口计算时间:" + sdf.format(System.currentTimeMillis()));
int sum = 0;
Iterator<Tuple2<String, Integer>> iterator = input.iterator();
while(iterator.hasNext()) {
Integer count = iterator.next().f1;
sum += count;
}
out.collect(Tuple2.of(word, sum));
}
}).print();
env.execute(“app”);
}
}
窗口开始时间:2020-02-05 00:22:21 窗口结束时间:2020-02-05 00:22:24 窗口计算时间:2020-02-05 00:22:24
4> (hadooop,2)
窗口开始时间:2020-02-05 00:22:24 窗口结束时间:2020-02-05 00:22:27 窗口计算时间:2020-02-05 00:22:27
4> (hadooop,3)
窗口开始时间:2020-02-05 00:22:27 窗口结束时间:2020-02-05 00:22:30 窗口计算时间:2020-02-05 00:22:30
4> (hadooop,3)
窗口开始时间:2020-02-05 00:22:30 窗口结束时间:2020-02-05 00:22:33 窗口计算时间:2020-02-05 00:22:33
4> (hadooop,3)
窗口开始时间:2020-02-05 00:22:33 窗口结束时间:2020-02-05 00:22:36 窗口计算时间:2020-02-05 00:22:36
4> (hadooop,3)
窗口开始时间:2020-02-05 00:22:36 窗口结束时间:2020-02-05 00:22:39 窗口计算时间:2020-02-05 00:22:39
我们可以看到,这个滚动窗口,每3秒计算一次,是按照系统时间来计算的。
我们再把时间窗口设置为1分钟,再试试。
窗口开始时间:2020-02-05 00:27:00 窗口结束时间:2020-02-05 00:28:00 窗口计算时间:2020-02-05 00:28:00
4> (hadooop,32)
窗口开始时间:2020-02-05 00:28:00 窗口结束时间:2020-02-05 00:29:00 窗口计算时间:2020-02-05 00:29:00
4> (hadooop,60)
Flink窗口介绍及应用
============
Windows是Flink流计算的核心,本文将概括的介绍几种窗口的概念,重点只放在窗口的应用上。
一、窗口(window)的类型
对于窗口的操作主要分为两种,分别对于Keyedstream和Datastream。他们的主要区别也仅仅在于建立窗口的时候一个为.window(…),一个为.windowAll(…)。对于Keyedstream的窗口来说,他可以使得多任务并行计算,每一个logical key stream将会被独立的进行处理。
stream
.keyBy(…) <- keyed versus non-keyed windows
.window(…)/.windowAll(…) <- required: “assigner”
[.trigger(…)] <- optional: “trigger” (else default trigger)
[.evictor(…)] <- optional: “evictor” (else no evictor)
[.allowedLateness(…)] <- optional: “lateness” (else zero)
[.sideOutputLateData(…)] <- optional: “output tag” (else no side output for late data)
.reduce/aggregate/fold/apply() <- required: “function”
[.getSideOutput(…)] <- optional: “output tag”
按照窗口的Assigner来分,窗口可以分为
Tumbling window, sliding window,session window,global window,custom window
每种窗口又可分别基于processing time和event time,这样的话,窗口的类型严格来说就有很多。
还有一种window叫做count window,依据元素到达的数量进行分配,之后也会提到。
窗口的生命周期开始在第一个属于这个窗口的元素到达的时候,结束于第一个不属于这个窗口的元素到达的时候。
二、窗口的操作
2.1 Tumbling window
固定相同间隔分配窗口,每个窗口之间没有重叠看图一眼明白。
下面的例子定义了每隔3毫秒一个窗口的流:
WindowedStream<MovieRate, Integer, TimeWindow> Rates = rates
.keyBy(MovieRate::getUserId)
.window(TumblingEventTimeWindows.of(Time.milliseconds(3)));
2.2 Sliding Windows
跟上面一样,固定相同间隔分配窗口,只不过每个窗口之间有重叠。窗口重叠的部分如果比窗口小,窗口将会有多个重叠,即一个元素可能被分配到多个窗口里去。
下面的例子给出窗口大小为10毫秒,重叠为5毫秒的流:
WindowedStream<MovieRate, Integer, TimeWindow> Rates = rates
.keyBy(MovieRate::getUserId)
.window(SlidingEventTimeWindows.of(Time.milliseconds(10), Time.milliseconds(5)));
2.3 Session window
这种窗口主要是根据活动的事件进行窗口化,他们通常不重叠,也没有一个固定的开始和结束时间。一个session window关闭通常是由于一段时间没有收到元素。在这种用户交互事件流中,我们首先想到的是将事件聚合到会话窗口中(一段用户持续活跃的周期),由非活跃的间隙分隔开。
// 静态间隔时间
WindowedStream<MovieRate, Integer, TimeWindow> Rates = rates
.keyBy(MovieRate::getUserId)
.window(EventTimeSessionWindows.withGap(Time.milliseconds(10)));
// 动态时间
WindowedStream<MovieRate, Integer, TimeWindow> Rates = rates
.keyBy(MovieRate::getUserId)
.window(EventTimeSessionWindows.withDynamicGap(()));
2.4 Global window
将所有相同keyed的元素分配到一个窗口里。好吧,就这样:
WindowedStream<MovieRate, Integer, GlobalWindow> Rates = rates
.keyBy(MovieRate::getUserId)
.window(GlobalWindows.create());
三、窗口函数
窗口函数就是这四个:ReduceFunction,AggregateFunction,FoldFunction,ProcessWindowFunction。前两个执行得更有效,因为Flink可以增量地聚合每个到达窗口的元素。
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加V获取:vip1024b (备注Java)
面试题总结
其它面试题(springboot、mybatis、并发、java中高级面试总结等)
中…(img-MvAaC4Dz-1711903754980)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加V获取:vip1024b (备注Java)
[外链图片转存中…(img-jysh748S-1711903754980)]
面试题总结
其它面试题(springboot、mybatis、并发、java中高级面试总结等)
[外链图片转存中…(img-e8Ugus81-1711903754981)]
[外链图片转存中…(img-3XmjCGYV-1711903754981)]
[外链图片转存中…(img-UCeFxpV5-1711903754982)]