[Flink] Flink运行报错The number of requested virtual cores for application master

最新推荐文章于 2024-06-24 19:09:48 发布
最新推荐文章于 2024-06-24 19:09:48 发布
阅读量1.6k 收藏
点赞数 1
分类专栏： 大数据-flink 文章标签： flink kafka big data
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/113195467
版权
大数据-flink 专栏收录该内容
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
在Keberos认证环境下，尝试运行Flink任务时，遇到了'申请的应用主数量超过虚拟核心限制'的错误。提交到YARN集群后，根据相关文章尝试解决问题，但YARN页面未显示任何相关信息。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

运行一个flink任务，启动的时候报错

flink提交到yarn 环境报错 IllegalConfigurationException: The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.

2.环境如下

整个集群是keberos认证过的

12.12.12.24 datanode  同时也是提交任务的地方
12.12.12.25 datanode
12.12<
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Flink】requested virtual cores for application master 1 exceeds the maximum number of virtual cores
九师兄
01-16 1635
1.概述 flink提交到yarn 环境报错 IllegalConfigurationException: The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster. 2.环境如下 整个集群是keberos认证过的 12.12.12.24 datanode 同时也是提交任务的地方 12.
[Flink] Flink On Yarn（yarn-session.sh）启动错误
雨潇的专栏
06-05 2818
在Flink上启动 yarn-session.sh时出现 The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.错误
【Flink&Paimon】【任务启动报错&血与泪的教训】ClusterDeploymentException: Couldn‘t deploy Yarn session cluster
最新发布
lilinxi001的博客
06-24 239
Yarn容器虚拟内存率不足, 因为是用的虚拟机, 资源相对不足, yarn的虚拟内存比较小.导致启动后yarn创建applicationMaster时内存不足。
VMware排错：Number of virtual devices exceeds the maximum for a given controller
weixin_34357436的博客
06-04 385
今天从模版deploy一台虚机的时候遇到一个出错信息： “Number of virtual devices exceeds the maximum for a given controller” 网上搜了下，找到2个变通办法解决这个问题： 1) 通常这个问题是在部署或者克隆虚机的时候，最后一步勾选了“Edit Virtual hardw...
yarn 报错 requested virtual cores < 0, or requested virtual cores > max configured, requestedVirtualCo...
weixin_30505043的博客
10-30 1388
yarn 报错 requested virtual cores < 0, or requested virtual cores > max configured, requestedVirtualCores=6, maxVirtualCores=4 原因 INFO ApplicationMaster:54 - Final app ...
【Flink问题】The number of requested virtual cores per node 8 exceeds the maximum number of virtual core
陈小哥cw
06-14 2566
运行以下命令时出现问题 具体错误 解决方案 有以下错误可以看出 yarn配置中的设置了虚拟的cores=6，taskManager的slot我设置了8个，资源不够解决方法：方法一：调大vcores参数方法二：减少slot个数taskmanager.numberOfTaskSlots: 5 在flink安装目录下文件修改以下内容...
Flink on yarn遇到的问题
12-25 9788
Flink版本：flink-1.9.1 下载地址：https://flink.apache.org/downloads.html 我是分开部署的，部署了hadoop 3.1.2 所以下载 两个文件Apache Flink 1.9.1 for Scala 2.12和Pre-bundled Hadoop 2.8.3（一个jar包） 官方文档：https://ci.apache.org/...
Flink部署及作业提交
qq_32165517的博客
08-26 1412
Flink部署及作业提交 Flink源码编译 Setup: Download and Start Flink Flink runs on Linux, Mac OS X, and Windows. To be able to run Flink, the only requirement is to have a working Java 8.x installation. Windows users, please take a look at the Flink on Windows guide whi
flink on yarn遇到的问题
qq_35022803的博客
09-14 2277
flink on yarn遇到的问题 在搭建flink on yarn集群遇到了很多问题，在踩坑的同时也学习了很多东西，记录下来第一做记录，第二希望给以后遇到这些问题的同学一个解决问题的思路，第三我作为初学者观点难免狭隘，希望有前辈看到给我指点，能多学点东西。 1：The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in t
【job排错】记一次flink on hadoop with per-job 报错排查
hiliang521的博客
07-04 2115
flink job突然提交不到yarn上，本文通过排查日志，查找一些hadoop内部通讯信息，来指导对hadoop内各daemon进程的一些检查和操作。
flink on yarn 启动源码分析
weixin_39545874的博客
03-14 727
flink on yarn 启动问题   有两个月没发文了，这次在沉寂了两个月后带来的是我们在日常启动flink时大都会遇到的一个问题，不过也困扰了我断断续续有两天时间，后来在拨云见日之后发现豁然开朗的本质，其实，我们的解决问题时，有时候还是只浮于表面，而没有看到深藏冰面以下的那一角，所以继续努力是少不了的，那么切开问题，我们来从现象入手吧！ 1.flink启动现象   我们还在用flink on...
【排错】记一次（flink on yarn） 提交任务的排错之旅（yarn队列、namenode、resourcemanager、flink job全崩盘）
hiliang521的博客
08-26 1050
为了支持国产化环境，需要升级hadoop到3.3.1版本，升级好后提交flink（1.12.5）任务还发现问题不少，一个个排查吧。
flink 作业常见报错1
weixin_43979134的博客
08-30 1965
flink 开发作业常见错误
FlinkX 1.11 提交作业源码分析
StormWangxhu的博客
11-28 1242
FlinkX 1.11 源码分析 FlinkX 启动 作业提交 Flink 1.11 作业提交细节 在类YarnClusterDescriptor中，调用方法deployInternal() /** * This method will block until the ApplicationMaster/JobManager have been deployed on YARN. * * @param clusterSpecification Initial cluster s
Flink Cluster On YARN部署
shirukai
09-23 2142
Flink Cluster On YARN部署 Flink版本：1.8.2 Hadoop: 3.0.3 参考文章： 文中关于Per-Job、Session模式的描述摘自《Deploy Apache Flink® Natively on YARN/Kubernetes》 https://ververica.cn/developers/deploy-apache-flink-natively-on-yarn-kubernetes/ Flink在YARN上部署有两种模式，一种是Session模式，另一种是Pe
httpclient3.1发送https 的post请求，带参
09-27 1337
package com.dahantc.fcchannel.test; import java.io.IOException; import java.net.InetAddress; import java.net.InetSocketAddress; import java.net.Socket; import java.net.SocketAddress; import j...
Flink on yarn
hyunbar的博客
05-21 506
1、准备 准备集群 Zookeeper集群 Hadoop集群 准备flink jar包 官网地址：https://flink.apache.org/downloads.html flink-1.8之后没有集成hadoop，需要下载对应的hadoop jar包 1.8之前： 1.8之后： 需要下载对应hadoop的组件（然后放入flink的lib目录下） 配置Hadoop的环境变...
Flink On Yarn 异常排除过程以及根据字节码名字获取jar文件名字
吟啸徐行
11-22 7339
最初学习Flink，写了一个简单的wordcount运行一下，发现报错，异常信息如下： The program finished with the following exception: java.lang.RuntimeException: Error deploying the YARN cluster at org.apache.flink.yarn.cli.FlinkYarnSe
flink taskmanager报错“The heartbeat of JobManager with id timed out”是为什么
03-31
这个错误表示Flink TaskManager无法与JobManager保持心跳连接，通常是由于以下原因之一导致的： 1. JobManager崩溃或无法访问：如果JobManager无法访问或已崩溃，则TaskManager无法与其保持连接，因此会超时。 2. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值