Flink Sink 接收数据的顺序(Window发送数据顺序)

最新推荐文章于 2024-04-27 07:26:39 发布

thinktothings

最新推荐文章于 2024-04-27 07:26:39 发布

阅读量1.5k

点赞数

分类专栏： Flink 文章标签： Window发送数据顺序

本文链接：https://blog.csdn.net/thinktothings/article/details/88178924

版权

Flink Sink 接收数据的顺序(Window发送数据顺序)

概述

InternalTimerServiceImpl.processingTimeTimersQueue存储着同一个Window中所有Key,取第一个key，调用WindowOperator.onProcessingTime进行处理,并发送给Sink
InternalTimerServiceImpl.processingTimeTimersQueue key处理的顺序是，先处理第一个，然后依次把最后一个元素放到第一个元素进行处理
Key,处理的顺序，如 1 2 3 5 4,就会变成
```
 1
 4
 5
 3
 2
```
源码: https://github.com/opensourceteams/fink-maven-scala-2

输入数据

1 2 1 3 2 5 4

源码分析

RecordWriter.emit

当WordCount中的数据经过Operator(Source,FlatMap,Map) 处理后，通过RecordWriter.emit()函数发射数据

此时发这样的数据格式发送

WordWithCount(1,1)
WordWithCount(2,1)
WordWithCount(1,1)
WordWithCount(3,1)
WordWithCount(2,1)
WordWithCount(5,1)
WordWithCount(4,1)

WindowOperator.processElement会接收并处理


	private void emit(T record, int[] targetChannels) throws IOException, InterruptedException {
		serializer.serializeRecord(record);

		boolean pruneAfterCopying = false;
		for (int channel : targetChannels) {
			if (copyFromSerializerToTargetChannel(channel)) {
				pruneAfterCopying = true;
			}
		}

		// Make sure we don't hold onto the large intermediate serialization buffer for too long
		if (pruneAfterCopying) {
			serializer.prune();
		}
	}

WindowOperator.processElement(StreamRecord element)

WindowOperator.processElement,给每一个WordWithCount(1,1) 这样的元素分配window,也就是确认每一个元素属于哪一个窗口，因为需要对同一个窗口的相同key进行聚合操作
```
final Collection<W> elementWindows = windowAssigner.assignWindows(
            element.getValue(), element.getTimestamp(), windowAssignerContext);
```
把当前元素增加到state中保存,add函数中会对相同key进行聚合操作(reduce),对同一个window中相同key进行求和就是在这个方法中进行的
```
windowState.add(element.getValue());
```
tri