flink on yarn时的 slot,taskManager,jobManager,parallelism,container之间的关系

最新推荐文章于 2024-02-07 00:29:01 发布
最新推荐文章于 2024-02-07 00:29:01 发布
阅读量901 收藏 4
点赞数 1
分类专栏： flink 文章标签： yarn flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YouLoveItY/article/details/114028692
版权

在使用命令提交任务到yarn时.

flink run -m yarn-cluster -ys 2 -p 1 -yjm 1G -ytm 2G -d -yqu default -ynm iot_flink_flow-3812_1 -c cn..IotFileMain iot-flink-sql-runtime-1.0.3-SNAPSHOT.jar -jsonFile ./iot_flink_flow-3812_1.txt

ys 表示为一个taskManager的slot大小
yjm 表示为jobManager的内存大小
ytm 表示为一个taskManager的内存大小
p 表示任务的并行度

计算公式:

jobManager个数 = 1
taskManager个数 =  p / ys  + 1    
container个数 = taskManager个数 + jobManager个数
yarn内存数 = jobManager个数 * yjm  +  taskManager个数  *  ytm

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

Jeseva
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink on yarn.txt
05-24
编译环境： flink on yarn flink版本：flink1.8.0 scala版本：scala_2.1.2 hadoop版本：hadoop2.6.0-cdh5.9.3 系统：cetos6.4 final
JobManager-开源
05-09
这是任务管理软件，适用于想要记录，提醒和监视任何任务/工作/项目的人员。 它提供了将任务分解为越来越小的任务的功能。 所有版本均附带netbeans项目和图形文件。
flink on yarn模式下的，flink中的slot，taskmanage，parallelism，以及yarn中的container，vcore，memory它们之间的关系
qq_21451945的博客
09-24 3998
第一点 yarn集群上同时能跑多少任务是有限定的，这个限定就是yarn上的vcore和memory这两个参数。但是它是可以根据你的配置文件可以调的，修改yarn-site.xml文件中的（这个是yarn默认的，就算不配置也是这样） <property> <name>yarn.nodemanager.resource.cpu-vcores</n...
基于yarn资源管理的flink内存模型设计
weixin_38251332的博客
12-15 1850
集群现状 hadoop集群yarn内存资源 节点 节点内存 node manager 分配内存 预留内存 hadoop02 64GB 52GB 12GB hadoop03 64GB 52GB 12GB hadoop04 64GB 52GB 12GB yarn计算资源总共可以内存：156GB 排除集群常驻任务占用内存12GB，计算任务可用内存：144GB yarn container 最小内存：1GB，最多可用container：144个。 基于yarn的flink任务的内存模型
Flink-on-yarn模式下TaskManager内存分配及计算公式
chensonga的专栏
02-08 1316
在flink-on-yarn模式下，基于flink1.10版本，如何计算flink jvm-heap内存。 先来张官网 flink-on-yarn的内存分布图： 内存主要分为：整个container内存、flink内存。其中内存类型又分为堆内存和堆外内存。 内存类型主要分为： 1.、JVM Metaspace ：默认256M； 2、JVM Overhead内存：默认整个container内存的0.1； 最大值为1G，最小值为192M，如果计算出来的内存大小不在此区间范围内，按照最小值/最大值
blink taskmanager container 堆内存设置
青松的博客
12-19 363
blink taskmanager container 堆内存设置堆内存设置taskmanager OOM 问题定位 堆内存设置 我们使用的是阿里开源的blink版本，目前flink官方的最新版本是1.9，对sql的支持还不完善，DDL定义语句还处于预览版阶段。使用Yarn来做资源管理，测试过程中，发现taskmanager 所在的 container的堆内存设置遇到一些问题，在此记录一下。 ta...
Flink on Yarn部署
DataFlow范式
09-22 8264
环境信息：Hadoop版本：2.6.0Flink版本：1.1.2 快速部署Flink on Yarn环境：比如启动一个有4个TaskManager（每个节点都有4GB堆内存）的Yarn会话：1.      下载Flink的软件包，如flink-1.1.2-bin-hadoop26-scala_2.11.tgz（因为我的Hadoop集群版本为2.6.0，Flink的Binary包是包含Yarn客户端
flink on yarn 缺少依赖NoClassDefFoundError: com/sun/jersey
06-06
flink-hadoop-compatibility_2.12-1.7.1.jar javax.ws.rs-api-2.0.1.jar jersey-common-2.27.jar jersey-core-1.19.4.jar 解决 Exception in thread "main" java.lang.NoClassDefFoundError: ...
cdh6.3.1 FLINK_ON_YARN-1.14.0.jar
02-14
CDH6.3.1集成安装flink on yarn服务（通过parcel制作生成的csd文件） 文件名：FLINK_ON_YARN-1.14.0.jar 相关信息如下： 1. flink版本号：1.14.0 2. 系统版本：CentOS7.7 3. CDH版本：6.3.1 4. 扩展版本号：BIN-...
FLINK_ON_YARN-1.14.3.jar
04-05
CDH6.2 FLINK on yarn : FLINK_ON_YARN-1.14.3.jar
Flink on Yarn_K8S原理剖析及实践.pdf
07-17
Flink 2018峰会 阿里大牛的技术， 在线教程有github：**，第7个文档 详细的讲解Flink和YARN及kubenete的集成，值得收藏
【大数据】Flink on YARN，如何确定 TaskManager 数
最新发布
书山有路，学海无涯。记录成长，追逐梦想
02-07 1740
Flink 程序中设定并行度有 4 种级别，从低到高分别为：算子级别、执行环境级别（ExecutionEnvironment）、客户端（命令行）级别、配置文件级别（flink-conf.yaml）。实际执行时，优先级则是反过来的，算子级别最高。
【FLINK 】 Flink on YARN模式下TaskManager的内存分配
Zsigner的博客
09-15 2122
解决背景： 总的ytm分配的不变的情况下怎么划分给堆内内存JVM 一个更大的内存空间 对于心急的同学来说，我们直接先给一个解决方案，后面想去了解的再往下看: 原来的命令，-ytm 8192，分配给taskmanager 的JVM 有3.29G flink run -m yarn-cluster -ynm streaming -ys 3 -p 3 -yjm 2048 -ytm 8192 -c com.xxx.mainClass /home/hadoop/xxx.jar 优化后的命..
Flink_探究Flink on YARN模式下TaskManager的内存分配
m0_55601267的博客
09-20 324
原文地址： 探究Flink on YARN模式下TaskManager的内存分配 - 简书 一个问题 我们使用如下的参数提交了Flink on YARN作业（per-job模式）。 /opt/flink-1.9.0/bin/flink run \ --detached \ --jobmanager yarn-cluster \ --yarnname "x.y.z" \ --yarnjobManagerMemory 2048 \ --y
Flink_Flink ON YARN containerized.heap-cutoff-min 内存调整
迎难而上
05-26 1585
今天，我对 Flink ON YARN 集群的内存进行下调整。我调整了 Container 容器最小的分配内存，导致了一系列的问题，这里记录一下。 （1）yarn.nodemanager.resource.memory-mb 表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。 （2）yarn.nodemanager.vmem-pmem-ratio 任务每使用1MB...
flinksql的primary key异常处理
jeseva的博客
08-08 7370
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
Flink使用RestApi
jeseva的博客
08-05 4980
flink是一个非常好用的流任务计算框架, 这次我们来试用flink的restApi来提交任务. 1, 上传jar包 public static boolean uploadJar( File jarFile) { RequestBody requestBody = new MultipartBody.Builder() .setType(MultipartBody.FORM) .addFormDataPart("fil
flink on k8s native 再次实践
jeseva的博客
12-15 4134
基于flink 1.13.2版本做的实践 本次主要实践flink on k8s native 的两种方式, 分别是sesion 和 application方式 第一步: k8s环境准备 1, 创建一个namespace kubectl create namespace flink-session-cluster-test-1213 2, 新建一个serviceaccount, 用来提交flink的任务 kubectl create serviceaccount flink -n
使用grafana+prometheus监控flink任务
jeseva的博客
04-22 2662
1,软件安装: grafana+prometheus 安装教程请参考文章: 安装教程 2,flink配置 方案一: 修改文件conf/flink-conf.yaml metrics.reporter.promgateway.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter #这里填写安装的prometheusGateway的ip metrics.reporter.promgateway.host
flink on yarn 运行时架构
04-04
在Flink on YARN中，ApplicationMaster和JobManager都运行在YARN的容器中，而TaskManager则运行在它们自己的容器中。Flink on YARN使用YARN的容器隔离功能，确保每个容器都有自己的资源，并且不会干扰其他容器的执行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值