1.世界
转载并且补充:参考:https://blog.jrwang.me/2019/flink-source-code-data-exchange/
2.概述
Flink中的数据交换是围绕着下面的原则设计的:
-
数据交换的控制流(即,为了启动交换而传递的消息)是由接收者发起的,就像原始的MapReduce一样。
-
用于数据交换的数据流,即通过电缆的实际数据传输,被抽象为了IntermediateResult,并且是可插拔的。 这意味着系统可以使用同一实现同时支持流数据传输和批处理数据传输。
数据交换也涉及到了一些角色,包括:
- JobManager,master节点,负责任务调度,异常恢复,任务协调,并且通过ExecutionGraph这样的数据结构来保存一个作业的全景图。
- Ta