Flink并行度设置优先级

本文探讨了Apache Flink中流处理并行度的设定规则,从socket数据源读取时并行度限制为1,算子并行度设定优先级,以及环境并行度的默认值。关键概念包括:socketTextStream、flatMap、keyBy、setParallelism以及流处理环境的并行度配置。理解这些对于优化Flink作业性能至关重要。
摘要由CSDN通过智能技术生成

1, 从socket流中读取数据并行度只能是 1

//从socket文本流读取数据
DataStream<String> inputDataStream = env.socketTextStream(host, port);

2, 特定的算子设定了并行度最优先

//基于数据流进行转换计算
DataStream<Tuple2<String, Integer>> resultStream = inputDataStream.flatMap(new MyFlatMapper()).keyBy(0).sum(1).setParallelism(2);

其中keyBy(0)不是算子, 只是一个hash分配作用, 所以它不能设置并行度

3, 算子没有设定并行度就是用整体运行环境设置的并行度

//创建流处理执行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);

4, 环境的并行度没有设置就使用提交时候提交参数设置的并行度
在这里插入图片描述

5, 最后都没有设置就遵循 flink的配置文件

parallelism.default: 1
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值