Flink的任务链

Flink的任务链

Flink 中的每个算子都可以设置并行度，每个算子的一个并行度实例就是一个 subTask。由于 Flink 的 TaskManager 运行 Task 的时候是每个 Task 采用一个单独的线程，这会带来很多线程切换和数据交换的开销，进而影响吞吐量。
为了避免数据在网络或线程之间传输导致的开销，Flink 会在 JobGraph 阶段，将代码中可以优化的算子优化成一个算子链（Operator Chains）以放到一个 Task 中执行。
用户也可以自己指定相应的链条，将相关性非常强的转换操作绑定在一起，这样能够让转换过程中上下游的 Task 在同一个 Pipeline 中执行，进而避免因为数据在网络或者线程间传输导致的开销，提高整体的吞吐量和延迟。
一般情况下，Flink 在 Map 操作中默认开启 TaskChain，以提高 Flink 作业的整体性能。
如图1，Source 和 Map 在优化后，组成一个算子链，作为一个 task 运行在一个线程上，其简图如 Condensed view 所示，并行图如 parellelized view 所示。

Flink提供了更细粒度的任务链控制方法，用户可根据需求创建任务链或禁止任务链。

禁用全局任务链

evn.disableOperatorChaining();

关闭全局任务链后，创建对应Operator Chain，需要用户先指定操作符，然后再调用startNewChain()方法创建。

dataStream.keyBy(0).filter().map().startNewChain().map();

startNewChain方法创建的链条只对调用方法的前一个操作符和后一个操作符有效，不影响其他的。比如示例中新建的链条只有map->map，对前面的filter无效。
禁用全局任务链会影响整体任务执行的情况，禁用前，要清楚任务执行的流程，否则可能造成非预期的结果。

禁用局部任务链

如果不想关闭整体算子上的链条，只是想关闭部分算子上链条绑定，可以使用disableChaining()方法禁用当前操作符上的链条。

dataStream.keyBy(0).filter().map().disableChaining()

上述代码只会禁用map操作上的任务链，不会影响其他操作符。

[参考文献] (https://cloud.tencent.com/developer/article/1543570)