Flink-执行模式(流/批)

流模式一般用于处理连续的无界数据;

批模式一般用于处理已知输入、不会连续运行的任务;

不管流模式亦或者是批模式,采取统一的处理方式(大部分的API两者都适用);如果适用批(BACH)模式,Flink 可以对有边界作业进行额外的优化。例如,可以使用不同的关联(join)/ 聚合(aggregation)策略、不同 shuffle 实现来提高任务调度和故障恢复的效率

配置执行模式

  • STREAMING: 经典 DataStream 执行模式(默认)
  • BATCH: 在 DataStream API 上进行批量式执行(本地测试可以再代码中写死。生产环境一般不建议写死再代码中,应该再任务运行是,动态添加)
  • $ bin/flink run -Dexecution.runtime-mode=BATCH <jarFile>

  • 本地测试:
    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    env.setRuntimeMode(RuntimeExecutionMode.BATCH);

  • AUTOMATIC: 让系统根据数据源的边界性来决定
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值