【Flink】requested virtual cores for application master 1 exceeds the maximum number of virtual cores

已于 2023-12-30 10:02:10 修改
阅读量1.6k 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink hadoop kafka
于 2022-01-16 14:03:59 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/122348629
版权
本文档详细记录了在部署Flink到YARN环境中遇到的‘requested virtual cores for application master exceeds the maximum’错误，以及在不同场景下如何排查和解决问题，包括权限配置、集群资源检查以及与运维沟通解决。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

flink提交到yarn 环境报错 IllegalConfigurationException: The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.

2.场景1

2.1 环境如下

整个集群是keberos认证过的

12.12.12.24 datanode  同时也是提交任务的地方
12.12.12.25 datanode
12.
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
[Flink] Flink运行报错The number of requested virtual cores for application master
九师兄
01-26 1686
1.背景 运行一个flink任务，启动的时候报错 org.apache.flink.client.deployment .ClusterDeploymentException: Could not deploy Yarn job cluster. at org.apache.flink.yarn.YarnClusterDescr iptor .deployJobCluster (YarnClusterDescriptor.java:82) at org.apache.flink.client.cli .
【Flink问题】The number of requested virtual cores per node 8 exceeds the maximum number of virtual core
陈小哥cw
06-14 2579
运行以下命令时出现问题 具体错误 解决方案 有以下错误可以看出 yarn配置中的设置了虚拟的cores=6，taskManager的slot我设置了8个，资源不够解决方法：方法一：调大vcores参数方法二：减少slot个数taskmanager.numberOfTaskSlots: 5 在flink安装目录下文件修改以下内容...
[Flink] Flink On Yarn（yarn-session.sh）启动错误
雨潇的专栏
06-05 2853
在Flink上启动 yarn-session.sh时出现 The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.错误
VMware排错：Number of virtual devices exceeds the maximum for a given controller
weixin_34357436的博客
06-04 390
今天从模版deploy一台虚机的时候遇到一个出错信息： “Number of virtual devices exceeds the maximum for a given controller” 网上搜了下，找到2个变通办法解决这个问题： 1) 通常这个问题是在部署或者克隆虚机的时候，最后一步勾选了“Edit Virtual hardw...
yarn 报错 requested virtual cores < 0, or requested virtual cores > max configured, requestedVirtualCo...
weixin_30505043的博客
10-30 1391
yarn 报错 requested virtual cores < 0, or requested virtual cores > max configured, requestedVirtualCores=6, maxVirtualCores=4 原因 INFO ApplicationMaster:54 - Final app ...
flink on yarn遇到的问题
qq_35022803的博客
09-14 2288
flink on yarn遇到的问题 在搭建flink on yarn集群遇到了很多问题，在踩坑的同时也学习了很多东西，记录下来第一做记录，第二希望给以后遇到这些问题的同学一个解决问题的思路，第三我作为初学者观点难免狭隘，希望有前辈看到给我指点，能多学点东西。 1：The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in t
Flink SQL Size of the state is larger than the maximum permitted memory-backed state
SmartSi
10-08 1137
错误日志提示已经很明显，状态大小超过 Checkpoint 持久化存储默认最大值。由于代码中没有指定 CheckpointStorage，因此默认使用 JobManagerCheckpointStorage 存储在内存中，默认大小为 5MB。日志中建议切换到 FileSystemCheckpointStorage 中。注意的是 Flink 1.13 版本将之前的 StateBackend 拆分成新的 StateBackend 和 CheckpointStorage 两个功能。
flink实战--Application模式下java程序将flink任务提交到yarn集群
阿华田的博客
01-19 3042
扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦 简介 对于单个flink任务提交到yarn集群，通过命令行的方式是能接受的，但是我们开发实时计算平台就需要通过代码的方式将我们管理的flink任务提交到yarn集群上去。本文主要介绍flink1.11新的部署模式–Application模式，具体Application模式和其他提交方式的区别可以参考我的这篇文章：flink on yarn。 程序提交flink任务的步骤 第一步：引入相关的配置到...
【job排错】记一次flink on hadoop with per-job 报错排查
hiliang521的博客
07-04 2138
flink job突然提交不到yarn上，本文通过排查日志，查找一些hadoop内部通讯信息，来指导对hadoop内各daemon进程的一些检查和操作。
flink on yarn 启动源码分析
weixin_39545874的博客
03-14 733
flink on yarn 启动问题   有两个月没发文了，这次在沉寂了两个月后带来的是我们在日常启动flink时大都会遇到的一个问题，不过也困扰了我断断续续有两天时间，后来在拨云见日之后发现豁然开朗的本质，其实，我们的解决问题时，有时候还是只浮于表面，而没有看到深藏冰面以下的那一角，所以继续努力是少不了的，那么切开问题，我们来从现象入手吧！ 1.flink启动现象   我们还在用flink on...
【排错】记一次（flink on yarn） 提交任务的排错之旅（yarn队列、namenode、resourcemanager、flink job全崩盘）
hiliang521的博客
08-26 1060
为了支持国产化环境，需要升级hadoop到3.3.1版本，升级好后提交flink（1.12.5）任务还发现问题不少，一个个排查吧。
flink 作业常见报错1
weixin_43979134的博客
08-30 1975
flink 开发作业常见错误
FlinkX 1.11 提交作业源码分析
StormWangxhu的博客
11-28 1245
FlinkX 1.11 源码分析 FlinkX 启动 作业提交 Flink 1.11 作业提交细节 在类YarnClusterDescriptor中，调用方法deployInternal() /** * This method will block until the ApplicationMaster/JobManager have been deployed on YARN. * * @param clusterSpecification Initial cluster s
Flink Cluster On YARN部署
shirukai
09-23 2150
Flink Cluster On YARN部署 Flink版本：1.8.2 Hadoop: 3.0.3 参考文章： 文中关于Per-Job、Session模式的描述摘自《Deploy Apache Flink® Natively on YARN/Kubernetes》 https://ververica.cn/developers/deploy-apache-flink-natively-on-yarn-kubernetes/ Flink在YARN上部署有两种模式，一种是Session模式，另一种是Pe
09_Flink Streaming execute
codemosi的专栏，点击我可以跳到目录一栏
06-09 4932
通过env.execute();启动任务。env有四个实现类。LocalStreamEnvironment，是在本地jvm使用多线程模拟一个flink集群。四个实现类都是通过getStreamGraph来获取DAG图对象StreamGraph。 StreamGraph，保存着点边关系，和需要的上下文对象。可以重新api编程的语义。持有一个JobGraph对象，用来提交给集群。由Client，Jo
flink 常用异常错误解析
wppwpp1的专栏
02-09 1684
IllegalConfigurationException 如果您看到从TaskExecutorProcessUtils或JobManagerProcessUtils抛出IllegalConfigurationException，则通常表明存在无效的配置值（例如，负的内存大小，大于1的分数等）或配置冲突。检查与异常消息中提到的内存组件相关的文档章节或配置选项。 OutOfMemoryError：Java堆空间 异常通常表明JVM堆太小。您可以尝试通过增加总内存来增加JVM堆大小。您也可以直接增..
izedThrowable The rpc invocation size 37032681 exceeds the maximum akka framesize.
最新发布
06-08
这个错误是由于您的 Flink 作业或任务中发送的 RPC 请求或响应大小超过了 Akka 的最大帧大小限制。默认情况下，Akka 的最大帧大小限制为 128MB。可以通过在 Flink 配置文件中设置 "akka.framesize" 参数来修改最大帧大小限制，例如 "akka.framesize=256MB"。如果您的作业或任务需要发送大量数据，您也可以考虑使用其他方式，例如使用 Flink 的状态后端来存储数据，而不是通过 RPC 发送。如果您需要进一步帮助，请提供更多的程序代码和堆栈跟踪信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值