来源:
1 Flink
1.1 Flink参数配置
-
jobmanger.rpc.address jm的地址。
-
jobmanager.rpc.port jm的端口号。
-
jobmanager.heap.mb jm的堆内存大小。不建议配的太大,1-2G足够。
-
taskmanager.heap.mb tm的堆内存大小。大小视任务量而定。需要存储任务的中间值,网络缓存,用户数据等。
-
taskmanager.numberOfTaskSlots slot数量。在yarn模式使用的时候会受到
yarn.scheduler.maximum-allocation-vcores
值的影响。此处指定的slot数量如果超过yarn的maximum-allocation-vcores,flink启动会报错。在yarn模式,flink启动的task manager个数可以参照如下计算公式:
num_of_tm = ceil(parallelism / slot) 即并行度除以slot个数,结果向上取整。
-
parallelsm.default 任务默认并行度,如果任务未指定并行度,将采用此设置。
-
web.port Flink web