Flink多并行度与WaterMark
最近在复习flink的时候,发现之前写的demo全是单并行度,突发奇想多并行度下的窗口触发是否与单并行度相同? 故而就引申出了下列一些列问题。
首先我设置了数据延迟时间为2s,然后设置了一个长度为5秒 滑动距离为1s的窗口。
测试数据
a 1
b 2
c 3
a 4
f 5
z 6
v 7
其中数字部分为时间戳
单并行度
- 当a 4 进入后触发【-3~2】的窗口计算(窗口计算如下)
窗口起始时间计算逻辑
// org.apache.flink.streaming.api.windowing.windows.TimeWindow 函数位置
/**
* Method to get the window start for a timestamp.
*
* @param timestamp epoch millisecond to get the window start.
* @param offset The offset which window start would be shifted by.
* @param windowSize The size of the generated windows.
* @return window start
*/
public static long getWindowStartWithOffset(long timestamp, long offset, long windowSize) {
return timestamp - (timestamp - offset + windowSize) % windowSize;
}
-
根据如上规则得出如下公式,
1 - (1 - 2 + 5)% 5 = -3 # 1 事件时间 # 2 延时时间 # 5 窗口长度
多并行度
当把并行度设置为4的时候 “诡异”的时间就产生了 数据发送到 a 4的时候没有触发任何计算 于是我继续发送数据
f 5
z 6
v 7
至此才触发【-3~2】的窗口计算。令我百思不得其解!深究下去,得出如下结论。
所有分区数据都要满足【当前分区的事件时间 >= 所有分区当前最小的watermark】 如下
-
上图所示第一个窗口应该是【-3~2】,所有分区中最小的watermark应该为4。但当时间时间4的数据过来后 窗口并未关闭,原因是每个分区都维护了一份自己的waterMark。
此时 只有p4的时间达到了触发窗口【-32】关闭的标准。所以【-32】窗口并不会关闭
-
此时p1 进入一条事件时间为5的数据 也达到了触发窗口【-3~2】关闭的标准。但p2、p3依旧没有达到触发时间的标准,所以窗口仍旧没有关闭
- 截止到事件时间7进入p3为止,所有分区数据均已超过最小watermark4,触发窗口【-3~2】关闭
引申:假设6进入p2后,乱序数据小于4,比如是3进入到p3,后续频繁出现这种情况。导致窗口【-3~2】长时间无法关闭,数据全部积压如何解决?
附上测试代码
import com.alibaba.fastjson.JSONObject;
import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.windowing.ProcessWindowFunction;
import org.apache.flink.streaming.api.windowing.assigners.SlidingEventTimeWindows;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.streaming.api.windowing.windows.TimeWindow;
import org.apache.flink.util.Collector;
import java.time.Duration;
/**
* @Author:admin
* @Description:
* @Date:Created in 16:04 2022/1/4
* @Modified By:
*/
public class Test {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment executionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment();
// executionEnvironment.setParallelism(4);
DataStreamSource<String> source = executionEnvironment.socketTextStream("node28.testbigdate", 9991);
SingleOutputStreamOperator<JSONObject> map = source.map(line -> {
JSONObject json = new JSONObject();
String[] s = line.split(" ");
json.put("name", s[0]);
json.put("date", s[1]);
return json;
}).assignTimestampsAndWatermarks(WatermarkStrategy.<JSONObject>forBoundedOutOfOrderness(Duration.ofSeconds(2))
.withTimestampAssigner(new SerializableTimestampAssigner<JSONObject>() {
@Override
public long extractTimestamp(JSONObject element, long recordTimestamp) {
return element.getLong("date") * 1000L;
}
}));
map.print("===========>");
KeyedStream<JSONObject, String> name = map.keyBy(t -> t.getString("name"));
name.window(SlidingEventTimeWindows.of(Time.seconds(5), Time.seconds(1)))
.process(new ProcessWindowFunction<JSONObject, Object, String, TimeWindow>() {
@Override
public void process(String s, Context context, Iterable<JSONObject> elements, Collector<Object> out) throws Exception {
long start = context.window().getStart();
long end = context.window().getEnd();
System.out.println("开始时间" + start);
System.out.println("结束时间" + end);
System.out.println("总数" + elements.spliterator().estimateSize());
}
});
executionEnvironment.execute();
}
}