flink实战--资源分配与并行度（runtime）

已于 2022-06-24 18:39:02 修改
阅读量1.1w 收藏 20
点赞数 3
分类专栏： Flink学习必读系列 文章标签： flink slot flink runtime flink资源分配 flink分区
于 2019-01-17 19:13:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/86528689
版权
本文详细介绍了Flink运行时的资源分配，包括TaskManager的slot概念，task与subtask的划分，以及如何在Flink UI中查看任务的task和subTask。并深入探讨了算子连接模式、slotgroup、slot与并行度的关系，以及如何通过`yarn.containers.vcores`提高CPU利用率。理解这些内容对于优化Flink作业的性能至关重要。
摘要由CSDN通过智能技术生成

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

简介

           Flink运行时主要角色有两个：JobManager和TaskManager，无论是standalone集群，flink on yarn都是要启动这两个角色。JobManager主要是负责接受客户端的job，调度job，协调checkpoint等。TaskManager执行具体的Task。TaskManager为了对资源进行隔离和增加允许的task数，引入了slot的概念，这个slot对资源的隔离仅仅是对内存进行隔离，策略是均分，不能分割cpu资源，比如taskmanager的管理内存是3GB，假如有两个slot，那么每个slot就仅仅有1.5GB内存可用。Client这个角色主要是为job提交做些准备工作ÿ

了解本专栏 订阅专栏 解锁全文 超级会员免费看
阿华田512
关注
专栏目录
订阅专栏
大数据_Flink_数据处理_运行时架构6_slot和并行度的关系---Flink工作笔记0021
添柴程序猿的专栏
03-02 399
上面我们说了flink允许子任务共享slot,等等,有几个任务,如何分配slot等等对吧. 然后我们再继续来看slot和并行度的关系,看到上面左侧,这个任务有A任务4个并行度,然后B任务4个并行度,然后C任务2个并行度,D任务4个并行度,然后E任务2个并行度...也就是对应的子任务的个数对吧.可以看到这个任务,如果分配的话. 分配到2个taskmanager,然后有4个slot就够了对吧,可以看到因为他这里最多的子任务就是4个, 然后可以看到上面的,任...
Flink并行度与Slot的关系
大黄的博客
09-11 5263
当调节Flink并行度与slot时候，会有一些坑。 其中的关系如下：假设集群中有一台master，k台slave节点。 Flink-conf.yaml中有两个重要的参数： taskmanager.numberOfTaskSlots，The number of task slots that each TaskManager offers. Each slot runs one parallel pipeline. parallelism.default，The parallelism used for p
大数据——Flink原理
最新发布
庄小焱
08-18 1767
Apache Flink 是一个强大的开源框架和分布式处理引擎，专门用于对无界和有界数据流进行有状态计算。Flink 支持高吞吐量、低延迟的实时数据流处理，同时也能够高效地处理批处理任务。其核心特点包括事件时间处理、有状态操作、容错机制，以及能够在各种常见的集群环境中运行，如 Hadoop、Kubernetes 和自定义集群。Flink 还具有高度可扩展性，能够处理从小规模到大规模的数据集，同时保持较低的内存占用和高效的计算速度。Flink 常用于实时分析、数据管道、流式 ETL、机器学习等场景，广泛应用于
Flink中slot和并行度
Matthew93的博客
09-26 369
slot和并行度
Flink TaskSlot与并行度
胖虎儿的博客
05-18 1万+
为什么设置了并行度后程序启动失败？taskSlot与并行度究竟有什么不可告人的秘密关系？
Flink 中 slot ，task，并行度的概念以及与CPU，内存的关系
ChengYanan的博客
02-04 1万+
我们在学习Flink时，经常会听到 task，slot，线程以及并行度这几个概念，对于初学者来说，这几个概念关系以及它们与系统内存，CPU之间的关系经常搞不清楚，下面我们就通过这篇文章来弄清楚这些概念与关系。 并行度 特定算子的子任务（subtask）的个数称之为并行度（parallel），一般情况下，一个数据流的并行度可以认为是其所有算子中最大的并行度。Flink中每个算子都可以在代码中通过.setParallelism(n)来重新设置并行度。而并行执行的subtask要发布到不同的slot中去执行。 T
Flink 架构浅析 & 并行度 Slot 的关系
留歌__36的博客
02-22 2609
JobManager 和 TaskManager之间的通信都是借助于 Akka Framework，包括任务的状态以及Checkpoint 触发等信息 Flink中每一个worker(TaskManager)都是一个JVM进程，它可能会在独立的线程（Solt）上执行一个或多个subtask 一般一个Slot启动一个subtask Flink的每个TaskManager为集群提供Solt Slot的数量由集群中flink-conf.yaml配置文件中设置taskmanager.numberOfTaskSlo
flink实战--flink原理解析
热门推荐
阿华田的博客
09-30 2万+
Flink出现的背景 我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。但是这个两个计算引擎都有自己的局限性。Storm实现了低延迟，但是目前还没有实现高吞吐，也不能在故障发生的时候准确的处理计算状态（将数据从一个事件保存到另一个事件的，这些保留下来的是数据较计算状态），同时也不能实现exactly-once。SparkStreaming通过微批处理方法............
flink实战--flink on yarn
阿华田的博客
10-31 5666
Flink on yarn 配置 如果我们打算把flink任务提交到yarn上，那么只需要一台flink客户机即可，但是需要有如下的配置 第一步：设置HADOOP_CONF_DIR环境变量 export HADOOP_CONF_DIR=/usr/local/service/hadoop/etc/hadooop/ 注意：如果在flink的配置文件中设置Hadoop的环境变量，......
flink实战--flink面试题大全
阿华田的博客
12-30 1129
第一部分：Flink 中的核心概念和基础考察 一、 简单介绍一下 Flink Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。 Flink提供了诸多高抽象层的API以便用户编写分布式任务： DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Fl...
【白话Flink基础理论】Flink运行时(Runtime)架构（三）并行度&Task&SubTask&Slot&Flink中的并行剖析
橙心橙意橙续缘的博客
12-13 1448
——wirte by 橙心橙意橙续缘， 前言 白话系列 ———————————————————————————— 也就是我在写作时完全不考虑写作方面的约束，完全把自己学到的东西、以及理由和所思考的东西等等都用大白话诉说出来，这样能够让信息最大化的从自己脑子里输出并且输入到有需要的同学的脑中。PS：较为专业的地方还是会用专业口语诉说，大家放心！ 白话Flink系列 ———————————————————————————— 主要是记录本人（国内某985研究生）在Flink基础理论阶段学习的一些所学，更重要的是一
Flink03-Flink运行架构第二节-Slot和并行度
程序员大魔王
04-22 836
由于本章节内容比较多,防止学习枯燥,分成了4节来写(点击标题可跳转, 持续更新ing) 1-运行时的组件和基本原理 2-Slot和并行度 3-数据流和执行图 4-任务调度控制 文章目录什么是SlotSlot共享并行度与Slot的关系举例 什么是Slot Flink 中每一个 worker(TaskManager)都是一个 JVM 进程，它可能会在独立的线程上执行一个或多个 subtask。为了...
Flink 1.17教程：任务槽Task Slots和并行度的关系
学亮编程手记
09-01 719
在 Apache Flink 中，任务槽（Task Slots）是指可用于执行并行任务的资源单元。每个任务槽可以看作是一个可用的执行线程或处理单元，用于并行执行作业的不同部分。通俗来说，可以将任务槽想象成一个工作台，而每个工作台上都可以同时进行一项任务。任务槽的数量决定了同时可以执行的任务数量。总的来说，任务槽在 Apache Flink 中扮演着并行执行任务的角色，可以提高作业的并行度和整体处理能力。它们用于任务分配、负载均衡以及容错和高可用性的实现。
flink中的slot和并行度
weixin_43303297的博客
03-19 3820
一.什么是并行度？ 能够相互独立，互不干扰的执行同一种算子任务的所有线程集合，称为并行度。就好比有三个人一起去搬砖，事先咱们先把这些砖分为三份，一人一份，这样我们做的事都是搬砖，但是三个人互不影响，你搬你的，我搬我的。 二.什么是slot？ flink的每一个application都会根据前后的算子操作划分为一个个Task（就好比spark的stage），每一个Task里面封装了一个个 sub-...
Flink-任务槽和并行度的关系
qq_40382400的博客
06-29 860
而并行度是动态概念，也就是TaskManager运行程序时实际使用的并发能力，可以通过参数parallelism.default进行配置。假设一共有3个TaskManager，每一个TaskManager中的slot数量设置为3个，那么一共有9个task slot，表示集群最多能并行执行9个算子。整个流处理程序的并行度，就应该是所有算子并行度中最大的那个，这代表了运行程序需要的slot数量。和并行度都跟程序的并行执行有关，但两者是完全不同的概念。通过这个例子也可以明确地看到，，于是最终有三个任务节点。
flink taskmanager slot 并行度 数量关系
qq_34614587的博客
06-18 6280
flink 每个TM的slot个数*TM个数=最大并行度 一般我们设置TM内存：0.5g*slot个数/TM，core：0.5*slot个数/TM。 除了考虑实际情况，一个TM内存和core不能设置过大，那么在一个可选择的区间里，要怎么选择呢？ 假设并行度为1000， 方式一：设置100个TM，每个TM设置10个slot，每个设置5g内存，5core； 方式二：设置200个TM，每个TM设置5个slot，每个设置2.5g内存，2.5core（忽略小数的问题）。 这两种方式哪个会好一些？这个问题有
【Flink】flink并行度与kafka分区(partition)设置
九师兄
05-07 1万+
1.概述 默认： 【Flink】FlinkConsumer是如何保证一个partition对应一个thread的 当分区与并行度不一样呢？ 2.原理 采用取模运算；平衡 kafka partition与并行度关系。 计算公式 kafkaPartition mod 并行度总数 = 分配到并行度中的partition 例子：partition 个数为 6；并行度为 3 图示如下： 如上分析，如果...
Flink-任务需要申请的资源和并行度有关，和task的数量没有关系
weixin_48370579的博客
07-24 403
Flink-任务需要申请的资源和并行度有关，和task的数量没有关系 1. 非Flink的需要5个task,如下： 但是在Flink中采用共享模式 在代码中设置并行度为2 package com.wt.flink.core import org.apache.flink.streaming.api.scala._ object Demo3Parallelism { def main(a...
flink-runtime-web_2.11
05-16
flink-runtime-web_2.11是Apache Flink的一个模块，用于提供Web UI服务。Apache Flink是一个分布式流处理引擎，支持实时数据流处理和批处理。Web UI是flink-runtime-web_2.11的一个重要功能，它提供了一个可视化的界面，可以用于监视Flink集群的运行状态、查看日志、管理作业等。通过Web UI，用户可以方便地了解Flink集群的运行情况，诊断问题，优化作业等。 flink-runtime-web_2.11模块主要包括三个部分：Web Server、Web Client和Web Dashboard。Web Server是用于提供Web服务的组件，可以使用不同的框架实现，例如Jetty、Tomcat、Undertow等。Web Client是用于与Web Server进行通信的组件，客户端可以向服务端发送HTTP请求，获取数据或执行操作。Web Dashboard是一个基于Web界面的监控工具，可以查看Flink作业的状态、统计信息、日志等，支持动态更新数据和具有一定的交互性。 总之，flink-runtime-web_2.11是Apache Flink非常重要的一个模块，它提供了方便的Web UI服务，方便了用户进行作业管理和监控，是Flink集群运维中不可或缺的一部分。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值