大数据学习之Flink——05Flink的Parallelism和Slot

本文详细介绍了Flink中的并行度Parallelism和Slot概念,包括Parallelism的设置层次和影响,以及Slot作为资源单位的角色。通过调整Parallelism和合理利用Task Manager的Slot,可以优化Flink作业的执行效率。文中强调了并行度的优先级和Task Manager的Slot数量对任务执行的重要性。
摘要由CSDN通过智能技术生成

本文借鉴了: http://www.54tianzhisheng.cn/2019/01/14/Flink-parallelism-slot/

一. Parallelism(并行度)

1. 什么是Parallelism

parallelism 是并行的意思,在 Flink 里面代表每个任务的并行度,适当的提高并行度可以大大提高 job 的执行效率

2. 设置Parallelism

一个任务的并行度设置可以从 4 个层面指定:
Operator Level(算子层面) Execution Environment
Level(执行环境层面)
Client Level(客户端层面)
System Level(系统层面)

这 些 并 行 度 的 优 先 级 为 Operator Level>Execution Environment Level>Client Level>System Level。

  1. Operator Level
    Operator、Source 和 Sink 目的地的并行度可以通过调用 setParallelism()方法来指定

  2. Execution Environment Level
    任务的默认并行度可以通过调用 setParallelism()方法指定。为了以并行度 3 来执行 所有的 Operator、Source 和 Sink,可以通过如下方式设置执行环境的并行度

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值