本文借鉴了: http://www.54tianzhisheng.cn/2019/01/14/Flink-parallelism-slot/
一. Parallelism(并行度)
1. 什么是Parallelism
parallelism 是并行的意思,在 Flink 里面代表每个任务的并行度,适当的提高并行度可以大大提高 job 的执行效率
2. 设置Parallelism
一个任务的并行度设置可以从 4 个层面指定:
Operator Level(算子层面) Execution Environment
Level(执行环境层面)
Client Level(客户端层面)
System Level(系统层面)这 些 并 行 度 的 优 先 级 为 Operator Level>Execution Environment Level>Client Level>System Level。
-
Operator Level
Operator、Source 和 Sink 目的地的并行度可以通过调用 setParallelism()方法来指定 -
Execution Environment Level
任务的默认并行度可以通过调用 setParallelism()方法指定。为了以并行度 3 来执行 所有的 Operator、Source 和 Sink,可以通过如下方式设置执行环境的并行度