flink 中WindowAll后的 reduce 并行数为什么是1,但不代表所有的窗口符合该条件

flink 中WindowAll后的 reduce 并行数为什么是1,但不代表所有的窗口符合该条件

如何控制并行数,用一个变量存起来呗,parallelism 变量存放某个操作的并行数。一般是有默认配置或者用户指定。
那为什么WindowAll后reduce 只有一个并行数。且无法改变。
因为强制把此操作的并行数设置为1 了呗。

// 这是 AllWindowedStream类的 reduce(...) 中的一段。很明显在强制操作。
 return input.transform(opName, resultType, operator).forceNonParallel();
 
// 这是 SingleOutputStreamOperator类中的方法,就是在设置并行数
public SingleOutputStreamOperator<T> forceNonParallel() {
        transformation.setParallelism(1);
        transformation.setMaxParallelism(1);
        nonParallel = true;
        return this;
    }
 

是不是不能改啊?对的

// 这里是SingleOutputStreamOperator类中方法。
//因为强制设置,这个返回false;
    private boolean canBeParallel() {
         return !nonParallel;
    }
// 设置并行数
  public SingleOutputStreamOperator<T> setParallelism(int parallelism) {
       //这里会check。
        OperatorValidationUtils.validateParallelism(parallelism, canBeParallel());
        transformation.setParallelism(parallelism);

        return this;
    }    
 // 工具类   
   public static void validateParallelism(int parallelism, boolean canBeParallel) {
        Preconditions.checkArgument(
        //canBeParallel为false,如果parallelism不等于1,则传入false。
                canBeParallel || parallelism == 1,
                "The parallelism of non parallel operator must be 1.");
        Preconditions.checkArgument(
                parallelism > 0 || parallelism == ExecutionConfig.PARALLELISM_DEFAULT,
                "The parallelism of an operator must be at least 1, or ExecutionConfig.PARALLELISM_DEFAULT (use system default).");
    } 
     
      public static void checkArgument(boolean condition, @Nullable Object errorMessage) {
      // 如果条件为false,将报错。
        if (!condition) {
            throw new IllegalArgumentException(String.valueOf(errorMessage));
        }
    }

好了,一个简单的源码。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值