flink实战--资源分配与并行度（runtime）

已于 2022-06-24 18:39:02 修改
阅读量1.1w 收藏 20
点赞数 3
分类专栏： Flink学习必读系列 文章标签： flink slot flink runtime flink资源分配 flink分区
于 2019-01-17 19:13:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/86528689
版权

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

简介

           Flink运行时主要角色有两个：JobManager和TaskManager，无论是standalone集群，flink on yarn都是要启动这两个角色。JobManager主要是负责接受客户端的job，调度job，协调checkpoint等。TaskManager执行具体的Task。TaskManager为了对资源进行隔离和增加允许的task数，引入了slot的概念，这个slot对资源的隔离仅仅是对内存进行隔离，策略是均分，不能分割cpu资源，比如taskmanager的管理内存是3GB，假如有两个slot，那么每个slot就仅仅有1.5GB内存可用。Client这个角色主要是为job提交做些准备工作，比如构建jobgraph提交到jobmanager，提交完了可以立即退出，当然也可以用client来监控进度。 Jobmanager和TaskManager之间通信类似于Spark 的早期版本，采用的是actor系统。如下图

了解本专栏 订阅专栏 解锁全文 超级会员免费看
阿华田512
关注
  • 3
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 10
    评论
专栏目录
订阅专栏
flink-table-runtime-blink_2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-table-runtime-blink_2.11-1.10.0.jar； 赠送原API文档：flink-table-runtime-blink_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-table-runtime-blink_2.11-1.10.0-sources.jar； 赠送Maven依赖...
轻松通关Flink第17讲：生产环境中的并行度和资源设置
sucaiwa的博客
03-27 534
本课时我们讲解了 Flink 中和资源相关的几个重要概念，并且讲解了并行度设置的四种方法，我们在生产环境中的并行度设置是经过多次调优得出的。通过本课时的学习，你将会了解 Flink 中的并行度设置方法，并且能在生产环境中正确设置并行度。点击这里下载本课程源码。
Flink TaskSlot与并行度
胖虎儿的博客
05-18 1万+
为什么设置了并行度后程序启动失败？taskSlot与并行度究竟有什么不可告人的秘密关系？
Flink系列四：Flink中并行度、算子链、任务槽详解
最新发布
weixin_52134189的博客
06-03 874
Flink中并行度、算子链、任务槽、solt任务与并行度的关系。
Flink并行度与Slot的关系
大黄的博客
09-11 5159
当调节Flink并行度与slot时候，会有一些坑。 其中的关系如下：假设集群中有一台master，k台slave节点。 Flink-conf.yaml中有两个重要的参数： taskmanager.numberOfTaskSlots，The number of task slots that each TaskManager offers. Each slot runs one parallel pipeline. parallelism.default，The parallelism used for p
Flink中的slot介绍
Wu_San的博客
04-19 6572
asdvaasdf
Flink 中 slot ，task，并行度的概念以及与CPU，内存的关系
热门推荐
ChengYanan的博客
02-04 1万+
我们在学习Flink时，经常会听到 task，slot，线程以及并行度这几个概念，对于初学者来说，这几个概念关系以及它们与系统内存，CPU之间的关系经常搞不清楚，下面我们就通过这篇文章来弄清楚这些概念与关系。 并行度 特定算子的子任务（subtask）的个数称之为并行度（parallel），一般情况下，一个数据流的并行度可以认为是其所有算子中最大的并行度。Flink中每个算子都可以在代码中通过.setParallelism(n)来重新设置并行度。而并行执行的subtask要发布到不同的slot中去执行。 T
Flink-任务槽和并行度的关系
qq_40382400的博客
06-29 841
而并行度是动态概念，也就是TaskManager运行程序时实际使用的并发能力，可以通过参数parallelism.default进行配置。假设一共有3个TaskManager，每一个TaskManager中的slot数量设置为3个，那么一共有9个task slot，表示集群最多能并行执行9个算子。整个流处理程序的并行度，就应该是所有算子并行度中最大的那个，这代表了运行程序需要的slot数量。和并行度都跟程序的并行执行有关，但两者是完全不同的概念。通过这个例子也可以明确地看到，，于是最终有三个任务节点。
flink-runtime-web-2.11-1.13.2-API文档-中文版.zip
06-06
赠送jar包：flink-runtime-web_2.11-1.13.2.jar； 赠送原API文档：flink-runtime-web_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-runtime-web_2.11-1.13.2-sources.jar； 赠送Maven依赖信息文件：flink-runtime-...
flink-runtime_2.11-1.13.2-API文档-中文版.zip
06-06
赠送jar包：flink-runtime_2.11-1.13.2.jar； 赠送原API文档：flink-runtime_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-runtime_2.11-1.13.2-sources.jar； 赠送Maven依赖信息文件：flink-runtime_2.11-1.13.2....
flink-table-runtime-blink-2.11-1.12.7-API文档-中文版.zip
07-07
赠送jar包：flink-table-runtime-blink_2.11-1.12.7.jar； 赠送原API文档：flink-table-runtime-blink_2.11-1.12.7-javadoc.jar； 赠送源代码：flink-table-runtime-blink_2.11-1.12.7-sources.jar； 赠送Maven依赖...
flink-table-runtime-blink_2.11-1.13.2-API文档-中文版.zip
06-06
赠送jar包：flink-table-runtime-blink_2.11-1.13.2.jar； 赠送原API文档：flink-table-runtime-blink_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-table-runtime-blink_2.11-1.13.2-sources.jar； 赠送Maven依赖...
Flink中slot和并行度
Matthew93的博客
09-26 274
slot和并行度
flink solt概念详解
qq_35240226的博客
02-13 1356
同一个TaskManager上的所有slot都只是做了内存分离，没有做CPU隔离。
Flink 1.17教程：任务槽Task Slots和并行度的关系
学亮编程手记
09-01 512
在 Apache Flink 中，任务槽（Task Slots）是指可用于执行并行任务的资源单元。每个任务槽可以看作是一个可用的执行线程或处理单元，用于并行执行作业的不同部分。通俗来说，可以将任务槽想象成一个工作台，而每个工作台上都可以同时进行一项任务。任务槽的数量决定了同时可以执行的任务数量。总的来说，任务槽在 Apache Flink 中扮演着并行执行任务的角色，可以提高作业的并行度和整体处理能力。它们用于任务分配、负载均衡以及容错和高可用性的实现。
Flink 架构浅析 & 并行度 Slot 的关系
留歌__36的博客
02-22 2570
JobManager 和 TaskManager之间的通信都是借助于 Akka Framework，包括任务的状态以及Checkpoint 触发等信息 Flink中每一个worker(TaskManager)都是一个JVM进程，它可能会在独立的线程（Solt）上执行一个或多个subtask 一般一个Slot启动一个subtask Flink的每个TaskManager为集群提供Solt Slot的数量由集群中flink-conf.yaml配置文件中设置taskmanager.numberOfTaskSlo
Flink中subTask，并行度，slot你分得清吗？
weixin_45701550的博客
07-31 1613
ApacheFlink是一个开源的流处理框架，应用于分布式、高性能、高可用的数据流应用程序。可以处理有限数据流和无限数据，即能够处理有边界和无边界的数据流。无边界的数据流就是真正意义上的流数据，所以Flink是支持流计算的。有边界的数据流就是批数据，所以也支持批处理，目前flink在各大互联网公司应用广泛，是最为流行的大数据实时计算引擎之一。...
Flink的并行度及Slot
影子
03-24 5126
一个Flink程序Application由多个任务组成（source、transformation和sink），一个任务由多个并行实例（线程）来执行，一个任务的并行度实例（线程数）数目被称为该任务的并行度。 并行度的设置方式： a、Operrator Level（算子层次） b、Execution Environment Level（执行环境层次） c、Client Level（客户端层次） d、System Level(系统层次) 并行度的优先级Operrator Level>Execut.
Flink09：并行度：TaskManager与Slot、并行度的设置、并行度案例分析
weixin_40612128的博客
03-16 2083
一、并行度(Parallel) 一个Flink程序由多个组件组成(Source、Transformation和 Sink)。 一个组件由多个并行实例(线程)来执行， 一个组件的并行实例(线程)数目就被称为该组件的并行度。 二、TaskManager与Slot Flink的每个TaskManager为集群提供Solt， Solt的数量通常与每个TaskManager节点的可用CPU数量成比例，一般情况下Slot的数量就是每个节点的可用CPU数量。 三、并行度的设置 Flink任务的并行度可以通过4个层面来
flink-runtime-web_2.11
05-16
flink-runtime-web_2.11是Apache Flink的一个模块，用于提供Web UI服务。Apache Flink是一个分布式流处理引擎，支持实时数据流处理和批处理。Web UI是flink-runtime-web_2.11的一个重要功能，它提供了一个可视化的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值