1.并行度
一共有四种并行度,优先顺序为:
算子并行度>环境env全局并行度>客户端CLI提交并行度>配置文件并行度
算子并行度:
每个算子都可以独立设置一个并行度
环境env全局并行度:
env.setParallerism
客户端CLI提交并行度:
就是提交的时候,在命令行指定此参数,flink平台配置的并行度也是这个
bin/flink -run --parallelism 4 example-0.1.jar
配置文件并行度:flink-1.9.0/conf/flink-conf.yaml
parallelism.default: 4
并行度与slot数的关系
以上,任何一种并行度都不可超过slot数,否则会导致程序无法运行
这是由于,一个slot虽然可以执行多个subtask,但是必须是不同Task下面的subTask.
比如:一个slot可以分配一个source+一个map+一个keyby+一个sink,但不可分配两个相同的source
因此,当任何算子的并行度超过slot数,会导致一些subtask无法分配
并行度与kafka partition的关系
由于最大并行度必定<slot数,包括与kakfa源直接相关的sou