Flink FAQ - Task 之间的数据交换

翻译自原文：https://cwiki.apache.org/confluence/display/FLINK/Data+exchange+between+tasks

Flink中的数据交换基于以下设计原则构建：

1. 数据交换的流控是由接收方启动的，这与原始MapReduce十分相似。
2. 用于数据交换的数据流，即通过物理线路的实际数据传输，是通过IntermediateResult的概念抽象的，并且是可插入的。这意味着该系统可以使用相同的实现方式去支持流式传输（streaming）与批量传输（batch）

数据交换的过程：

数据交换的过程，涉及多个对象，包括：

作为主节点的JobManager负责安排任务，恢复和协调，并通过ExecutionGraph数据结构掌握工作的概况。

TaskManagers，工作节点。TaskManager（TM）在线程中同时执行许多任务。每个TM还包含一个CommunicationManager（CM-在任务之间共享）和一个MemoryManager（MM-在任务之间共享）。 TaskManager可以通过复用的TCP连接相互交换数据，这些连接是在需要时创建的。

请注意，在Flink中，通过网络交换数据的是TaskManagers（而不是task），位于同一TaskManagers中的任务之间的数据交