flink部署yarn错误：Couldn‘t deploy Yarn session cluster

最新推荐文章于 2024-06-24 19:09:48 发布
最新推荐文章于 2024-06-24 19:09:48 发布
阅读量8.3k 收藏 5
点赞数 1
分类专栏： 大数据 文章标签： flink hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ryxiong728/article/details/115559180
版权
本文介绍了在部署Flink Yarn Session集群时遇到的'Couldn't deploy Yarn session cluster'错误，详细分析了由于YARN容器虚拟内存不足导致的问题，并提供了两种解决方法：一是配置YARN不检测内存，二是调整YARN容器的虚拟内存比例。通过这些配置，成功解决了启动应用时内存不足的问题。
摘要由CSDN通过智能技术生成

Couldn’t deploy Yarn session cluster

错误信息

flink on yarn启动yarn-session时, 出现yarn-session无法部署错误

并且提示2.1G的虚拟内存使用了2.2GB内存.

...
org.apache.flink.client.deployment.ClusterDeploymentException: `Couldn't deploy Yarn session cluster`
        at org.apache.flink.yarn.YarnClusterDescriptor.deploySessionCluster(YarnClusterDescriptor.java:381)
        at org.apache.flink.yarn.cli.FlinkYarnSessionCli.run(FlinkYarnSessionCli.java:548)
        at org.apache.flink.yarn.cli.FlinkYarnSessionCli.lambda$main$5
最低0.47元/天 解锁文章
大数据与数据分析
关注
专栏目录
Flink : exitCode=1 the main method caused an error: could not deploy yarn job cluster
九师兄
07-03 3755
1.美图 2.背景 执行一个flink on yarn命令 su -hdfs -c "export HADOOP_CONF_DIR=xxx && export HADOOP_CLASSPATH=`hadoop classpath ` && /soft/flink/bin/flink run -m yarn-cluster -ynm xxx -yn 3 -yjm ...
Flink启动Yarn Session报错：Couldn‘t deploy Yarn session cluster
WHY的博客
01-16 1085
Flink启动yarn session报错：Permission denied: user=root,access=WRITE,inode="/user":why:supergroup:drwxr-xr-x
org.apache.flink.client.deployment.ClusterDeploymentException: Couldn‘t deploy Yarn session cluster
A1585570507的博客
03-19 4300
flink集群启动异常如下： org.apache.flink.client.deployment.ClusterDeploymentException: Couldn't deploy Yarn session cluster at org.apache.flink.yarn.YarnClusterDescriptor.deploySessionCluster(YarnClusterDescriptor.java:381) at org.apache.flink.yar
【Flink on yarn Couldn‘t deploy Yarn session cluster】
weixin_50336269的博客
08-30 1444
Flink on yarn Couldn‘t deploy Yarn session cluster/ The YARN application unexpectedly switched to state FAIL
Flink : Couldn’t deploy Yarn session cluster
ztx22555的博客
08-23 819
Flink : Couldn’t deploy Yarn session cluster
Flink on yarn Couldn‘t deploy Yarn cluster或者The YARN application unexpectedly switched to state FAIL
Joseph25的博客
03-28 1万+
Error while deploying YARN cluster: Couldn't deploy Yarn cluster java.lang.RuntimeException: Couldn't deploy Yarn cluster at org.apache.flink.yarn.AbstractYarnClusterDescriptor.deploy(AbstractYarnCl...
【Flink&Paimon】【任务启动报错&血与泪的教训】ClusterDeploymentException: Couldn‘t deploy Yarn session cluster
最新发布
lilinxi001的博客
06-24 251
Yarn容器虚拟内存率不足, 因为是用的虚拟机, 资源相对不足, yarn的虚拟内存比较小.导致启动后yarn创建applicationMaster时内存不足。
Flink 任务提交失败 Could not deploy Yarn job cluster
Baron_ND的博客
09-08 1万+
1.Flink提价任务，读取Hbase数据和hdfs数据，需要单独倒入一些hbase的依赖jar，所以加入了maven依赖，本地能正常测试运行，但是发布到yarn上运行报错，所以测试读取hdfs文件的时候，去掉依赖就可以了。 2.加入打包依赖的时候，注意加入过滤不需要的文件，不然会报错。 org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Could not depl.
任务提交时，报错： Could not deploy Yarn job cluster
东城庞太师
07-26 6984
如图：任务提交时，报错：Could not deploy Yarn job cluster 原因：我们往下看 原因：设置的内存超过了限制。 解决：修改内存大小设置 yarn.scheduler.maximum-allocation-mb yarn.nodemanager.resource.memory-mb ...
flink on yarn模式The main method caused an error: Could not deploy Yarn job cluster
RUIMENG061511332的博客
07-06 2795
Flink提交任务到yarn集群报错，The main method caused an error: Could not deploy Yarn job cluster 本人的原因是： flink版本不一致造成的，本地开发环境使用了flink1.8.0, 提交到yarn集群，是通过flink1.10.2安装包下的/bin/flink脚本提交的任务。。 ...
Yarn-Session集群启动失败：Unauthorized request to start container
渐宽阁读书小弟
03-31 1069
文章目录问题报错出错点：Unauthorized request to start container解决方法： 问题报错 2020-03-31 18:29:28,992 ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli - Error while running the Flink Yarn session. ...
在flink集群中运行jar包出ClusterRetrieveException: Couldn‘t retrieve Yarn cluster问题的解决办法
onthe_wing的博客
08-30 3353
如果将idea上的flink代码打包运行在flink集群上，出现如下问题 有两方面需要考虑： 一、修改yarn-site.xml配置文件，原因是可能内存超过虚拟内存的限制，所以需要对yarn进行虚拟内存限制修正，将如下两个配置改为false <property> //pmem指的是默认检查物理内存,容器使用的物理内存不能超过我们限定的内存大小,因为我们上面设置了所有容器能够使用的最大内存数量,超出这个内存限制,任务就会被kill掉 <name>yarn.nodema
[Flink] Flink On Yarn（yarn-session.sh）启动错误
雨潇的专栏
06-05 2883
在Flink上启动 yarn-session.sh时出现 The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.错误
flink启动yarn-session命令报错的解决方案
weixin_39868387的博客
02-22 3704
flink启动yarn-session命令报错 报错信息 org.apache.flink.client.deployment.ClusterDeploymentException: Couldn’t deploy Yarn session cluster 如图所示： 自己进入hadoop的配置文件 把这个配置参数删除： !--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值...
Flink on yarn 问题梳理
Jhon_yh的博客
06-30 2914
文章目录1. Caused by: org.apache.flink.client.deployment.ClusterDeploymentException: Could not deploy Yarn job cluster. 1. Caused by: org.apache.flink.client.deployment.ClusterDeploymentException: Could not deploy Yarn job cluster. 解决办法： 在 flink 配置文件里 flink-co
flink on yarn 集群模式启动报错及解决方案汇总
热门推荐
大数据技术博客
03-17 1万+
注意：想要使用flink on yarn 模式，需要确保hadoop集群启动成功，并且需要在yarn的某一个节点上面执行flink on yarn的脚本 没有启动hadoop集群，执行flink的bin/yarn-session.sh脚本会报下面错误 脚本会一直卡在这里，一直输出重试日志，连不上resoucemanager，说明hadoop集群每启动 2018-03-17 12:30:...
【Flink问题】The number of requested virtual cores per node 8 exceeds the maximum number of virtual core
陈小哥cw
06-14 2587
运行以下命令时出现问题 具体错误 解决方案 有以下错误可以看出 yarn配置中的设置了虚拟的cores=6，taskManager的slot我设置了8个，资源不够解决方法：方法一：调大vcores参数方法二：减少slot个数taskmanager.numberOfTaskSlots: 5 在flink安装目录下文件修改以下内容...
SpringBoot连接redis集群:Could not retrieve cluster information. CLUSTER NODES returned with error.
st1527960117的博客
04-10 1万+
由于之前在运行docker上的redis集群时出现: 之后也就没有在意，后来在项目中遇到 org.springframework.data.redis.ClusterStateFailureException: Could not retrieve cluster information. CLUSTER NODES returned with error. at org.spring...
Flink部署配置详解：从Standalone到YARN
"Flink的部署和配置主要涵盖Standalone集群、Hadoop YARN集群以及Kubernetes集群三种模式。在每种部署模式下，都需要对Flink的组件、配置文件以及集群启动方式进行理解与掌握。" 在Flink的部署中，首先介绍的是...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值