FLINK ON YARN内存计算

最新推荐文章于 2023-11-20 13:43:31 发布
最新推荐文章于 2023-11-20 13:43:31 发布
阅读量2.5k 收藏 2
点赞数
分类专栏： 大数据 flink yarn 文章标签： 大数据 flink yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sxau_zhangtao/article/details/124348135
版权
大数据 同时被 3 个专栏收录
6 篇文章 0 订阅
订阅专栏
flink
1 篇文章 0 订阅
订阅专栏
yarn
1 篇文章 0 订阅
订阅专栏

FLINK ON YARN内存计算

在使用命令提交任务到yarn时：

flink run -m yarn-cluster -ys 2 -p 1 -yjm 1G -ytm 2G

ys 表示为一个taskManager的slot大小
p 表示任务的并行度
yjm 表示为jobManager的内存大小
ytm 表示为一个taskManager的内存大小

计算公式：

jobManager个数 = 1 固定
taskManager个数 =  p / ys  + 1    向下取整
yarn的vcore个数=slot个数+1
yarn的container个数 = taskManager个数 + jobManager个数
yarn内存数 = jobManager个数 * yjm  +  taskManager个数  *  ytm

在这里插入图片描述
在这里插入图片描述

举例：
ys=2
p=1
yjm=2
ytm=2

计算：
yarn内存数=jobManager个数 * yjm + taskManager个数 * ytm =1*2+(1/2+1)*2=4G

sxau_zhangtao
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
flink任务cpu和内存资源的计算
科学的N次方
06-18 2034
JVM堆大小：JVM堆大小越大，可以同时运行的线程数就越多。因此，我们可以尝试提高JVM堆大小以提高并发度，从而降低CPU和内存的使用量。数据规模：Flink任务需要的CPU和内存与数据规模成正比。如果数据规模较大，那么任务需要更多的CPU和内存来处理数据。Flink任务需要的CPU和内存取决于任务的具体实现和数据规模。并行度：Flink任务的并行度越高，需要的CPU和内存就越多。
flink on yarn.txt
05-24
编译环境： flink on yarn flink版本：flink1.8.0 scala版本：scala_2.1.2 hadoop版本：hadoop2.6.0-cdh5.9.3 系统：cetos6.4 final
flink内存的计算
最新发布
qq_42438830的博客
11-20 161
flink使用中内存的使用情况。flink内存划分方式。flink内存的计算。
flink-taskmanager内存计算
catcher92的博客
10-03 1190
flink application模式下计算taskmanager内存大小划分。
Flink 第1章 Flink资源与内存模型占用空间计算方式。
青冬的博客
03-18 3876
Flink 第1章 Flink资源与内存模型 资源配置调优 开发了一些程序，那么怎么评估这些程序所需要的资源配比这些呢？ 比如使用标准的Flink任务提交脚本 Generic CLI模式（通用客户端模型） 从1.11开始，增加了通用的客户端模型 使用-D指定kv变量（这里演示以1.13.2为准）。 bin/flink run \ -t yarn-per-job \ -d \ -p 5\ # 执行并行度 -Dyarn.application.queue=test \ # 指定yarn队列 -Djob
Flink_Flink ON YARN containerized.heap-cutoff-min 内存调整
迎难而上
05-26 1602
今天，我对 Flink ON YARN 集群的内存进行下调整。我调整了 Container 容器最小的分配内存，导致了一系列的问题，这里记录一下。 （1）yarn.nodemanager.resource.memory-mb 表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。 （2）yarn.nodemanager.vmem-pmem-ratio 任务每使用1MB...
flink on yarn 缺少依赖NoClassDefFoundError: com/sun/jersey
06-06
flink-hadoop-compatibility_2.12-1.7.1.jar javax.ws.rs-api-2.0.1.jar jersey-common-2.27.jar jersey-core-1.19.4.jar 解决 Exception in thread "main" java.lang.NoClassDefFoundError: ...
cdh6.3.1 FLINK_ON_YARN-1.14.0.jar
02-14
CDH6.3.1集成安装flink on yarn服务（通过parcel制作生成的csd文件） 文件名：FLINK_ON_YARN-1.14.0.jar 相关信息如下： 1. flink版本号：1.14.0 2. 系统版本：CentOS7.7 3. CDH版本：6.3.1 4. 扩展版本号：BIN-...
FLINK_ON_YARN-1.14.3.jar
04-05
CDH6.2 FLINK on yarn : FLINK_ON_YARN-1.14.3.jar
Flink on Yarn_K8S原理剖析及实践.pdf
07-17
Flink 2018峰会 阿里大牛的技术， 在线教程有github：**，第7个文档 详细的讲解Flink和YARN及kubenete的集成，值得收藏
Flink之TaskManager内存解析
Baron_ND的博客
04-26 969
一个正在运行的Flink任务，发现过程中一次checkpoint（下文简称ck）操作失败，如下图所示：checkpoint操作失败ck失败大致分为两种情况，ck decline和ck expire:（1）ck decline发生ck decline情况时，我们可以通过查看JobManager.log或TaskManager.log查明具体原因。其中有一种特殊情况为ck cancel，当前 Flink 中如果较小的ck还没有对齐的情况下，收到了更大的ck，则会把较小的ck给取消掉。（2）ck expire如果
flink内存管理模型(二) ------ 内存分配
lhy18235303007的博客
09-11 1229
本文主要简单介绍TaskManager的内存管理策略，接上文https://blog.csdn.net/lhy18235303007/article/details/108477130。以下均为笔者个人观点，欢迎大家批评指正。 二、 内存分配 flink在启动一个TM的时候，只会通过两个启动参数限制的JVM的内存使用 JVM使用的最大堆内存(-Xms -Xmx) JVM使用的最大堆外内存(-XX:MaxDirectMemorySize) 这两项内存的和即为上述TaskManager使
Linux学习笔记——分布式内存计算Flink环境部署
kuaixiao0217的博客
01-12 1236
主要介绍了在Linux系统上分布式内存计算Flink的环境部署
Flink on yarn (三种模式)-调节集群的核数和内存方法
weixin_48370579的博客
07-24 1222
FLINK on YARN 将flink的任务提交到yarn上运行 1、可以先关闭flink的独立集群 stop-cluster.sh 2、配置HADOOP_CLASSPATH vim /etc/profile # 增加 export HADOOP_CLASSPATH=`hadoop classpath` source /etc/profile 3、启动hadoop start-al...
Flink on Yarn 模式 提交作业以及TaskManager内存配置
沐霜枫叶
12-09 970
内存分为整个container内存、flink内存。其中内存类型又分为堆内存和堆外内存。JVM Metaspace ：默认256M；JVM Overhead内存：默认整个container内存的0.1；最大值为1G，最小值为192M，如果计算出来的内存大小不在此区间范围内，按照最小值/最大值 分配；例如计算的结果为128M，实际按照192M分配；计算结果为1.2G，实际按照1G分配；
flink内存管理认识
qq_35022803的博客
11-25 300
了解flink内存管理对理解flink作业有很大的帮助，也可以解决一些程序运行问题，所以接下来进行flink的内存管理学习 本次学习的主要资料来源是flink中文学习网站 ververiva.cn 上图是flink资源调度划分，job是任务级别的，task是进程级别，进程级别是程序执行的最小单位，所以我将详细了解task的内存管理情况 如下图所示，看上去有点眼花缭乱，怎么一个小小的slot里要区分这么多内存类型？貌似因为在以后slot有望进行slot之间的资源共享，也就是不耗内存的slot可以分一些资源给
史上最全深度解析Flink内存管理--大数据技术
是故事啊~关注我~
03-03 1175
目前，大数据计算引擎主要使用Java或基于JVM的编程语言实现的，例如Apache Hadoop，Apache Spark，Apache Drill，Apache Flink等。但同样会面临一个问题，就是如何在内存中存储大量的数据（包括缓存和高效处理）。 JVM内存管理的不足： 1）Java对象存储密度低。Java的对象在内存中存储包含3个主要部分：对象头，实例数据，拆分填充部分。例如，一个只包含boolean属性的对象占16byte：对象头占8byte，boolean属性占1字节，为了对齐达到8的倍数.
实时计算Flink
code__online的博客
05-02 952
实时计算Flink 三种实时计算框架storm、spark streaming和flink的对比 storm延迟低但吞吐量小 spark streaming吞吐量大，但延迟高 flink是一种兼具低延迟和高吞吐量特点的流计算技术，还是一套框架中能同时支持批处理和流处理的 一个计算平台 Flink流处理特性 高吞吐、低延迟、高性能 支持带有事件时间的窗口（Window）操作 支持有状态计算的Exactly-once语义 支持高度灵活的窗口（Window）操作，支持基于time、count、session
Flink-on-yarn模式下TaskManager内存分配及计算公式
chensonga的专栏
02-08 1345
在flink-on-yarn模式下，基于flink1.10版本，如何计算flink jvm-heap内存。 先来张官网 flink-on-yarn的内存分布图： 内存主要分为：整个container内存、flink内存。其中内存类型又分为堆内存和堆外内存。 内存类型主要分为： 1.、JVM Metaspace ：默认256M； 2、JVM Overhead内存：默认整个container内存的0.1； 最大值为1G，最小值为192M，如果计算出来的内存大小不在此区间范围内，按照最小值/最大值
flink on yarn 运行时架构
04-04
Flink on YARN运行时架构包括以下组件： 1. YARN：Apache Hadoop YARN是一个集群资源管理器，它管理着Hadoop集群中的所有资源。在Flink on YARN中，YARN被用来托管Flink应用程序，并为应用程序分配和管理资源。 2....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值