Flink paralleism并行度

TaskManager与Slot

• Flink的每个TaskManager为集群提供solt，slot的数量通常与每个TaskManager可用CPU内核数成比例。一般情况下你的Slot数是每个节点的cpu核数。

 

并行度(Parallel)

• 一个Flink程序由多个任务组成(source、transformation和 sink)。一个任务由多个并行度的实例（线程）来执行，一个任务的并行实例（线程）数目就被称为该任务的并行度。

并行度的设置

• 一个任务的并行度设置可以从多个层次指定

          Operator Level 算子层 ：一个算子、数据源和 sink的并行度 可以通过setParallelism（）方法来指定

          Exection Enviroment Level  环境层面 ：整个环境里的Operator 都设置为2

             StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

             env.setParallelism(2);

          Client Level 客户端层次：./bin.flink run -p 10 WordCount-java.jar

          System Level 系统层次：fink-conf.yaml 文件中 parallelism.defalut 设置