flink-yarn启动yarn-session时报错Deployment took more than 60 seconds

最新推荐文章于 2023-06-30 14:45:34 发布
最新推荐文章于 2023-06-30 14:45:34 发布
阅读量4.2k 收藏 1
点赞数 6
分类专栏： 大数据日常记录 文章标签： flink zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38705144/article/details/115698960
版权

报错信息

INFO  org.apache.flink.yarn.YarnClusterDescriptor    [] - Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster

在这里插入图片描述
由于flink配置了高可用，所以在启动时需要启动zookeeper，如果不启动zookeeper，高可用则不能使用，会报如上错误。

启动zookeeper再启动flink-yarn

DSJ_ kohler
关注
  • 6
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink-on-yarn-1.13.2.jar
09-28
本人搭建cdh6.3.2环境时候集成flink1.13.2组件使用的flink_on_yarn-1.13.2.jar资源包，已验证可以使用，是本人制作parcel的时候的成品
[Flink错误总结]flink起不来--＞ Deployment took more than 60 seconds. Please check if the requested resources
LangLang1111111的博客
11-08 3793
原因:资源不足-->因为配置了HA 但是未开启zookeeper,所以没有资源可以调用,导致启动失败 解决办法-->启动zk即可 zk.sh start
Flink on yarn遇到的问题
12-25 9726
Flink版本：flink-1.9.1 下载地址：https://flink.apache.org/downloads.html 我是分开部署的，部署了hadoop 3.1.2 所以下载 两个文件Apache Flink 1.9.1 for Scala 2.12和Pre-bundled Hadoop 2.8.3（一个jar包） 官方文档：https://ci.apache.org/...
flink-1.14.0-bin-scala_2.11.tgz
07-18
flink-1.14.0-bin-scala_2.11.tgz
flink on yarn常见问题及解决方法汇总
weixin_45399602的博客
10-26 4097
持续更新flink on yarn在实际使用中的问题和解决方式，与君共勉
【Flink】Deployment took more than 60 seconds. Please check if the requested resources are available
一杯咖啡半杯糖的博客
12-30 4422
flink任务提交到yarn集群出现如下问题，不断刷屏org.apache.flink.yarn.YarnClusterDescriptor [] - Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster flink run -yd -m yarn-cluster -c com.test.FlinkCd...
flink on yarn ——报错：Deployment took more than 60 seconds. Please check if the requested resources are
热门推荐
龍承leo
03-15 1万+
报错描述，看着似乎是资源不够使用。 Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster 解决方案：配置yarn-site.xml <property> <name>yarn.scheduler.minimum-allocation-mb</name&gt...
Deployment took more than 60 seconds.check if the requested resources are available in the Yarn clus
m0_58046550的博客
11-29 984
Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster,yarn内存不足
flink启动yarn-session报错javax/ws/rs/ext/MessageBodyReader
微电子学与固体电子学-俞驰
06-07 2528
问题复现: /home/appleyuchi/bigdata/flink-1.10.1/bin/yarn-session.sh 报错如下: 2020-06-07 19:05:01,358 ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli - Error while running the Flink session. java.lang.NoClassDefFoundError: javax/ws/rs/ext/M
apache-doris-flink-connector-1.14_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.14_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.14 Scala Version：2.12 Apache Doris是一个现代MPP...
flink-table-planner-2.12-1.14.3-API文档-中文版.zip
04-07
赠送jar包：flink-table-planner_2.12-1.14.3.jar 赠送原API文档：flink-table-planner_2.12-1.14.3-javadoc.jar 赠送源代码：flink-table-planner_2.12-1.14.3-sources.jar 包含翻译后的API文档：flink-table-...
flink-clickhouse-sink:Flink水槽的Clickhouse
05-17
Flink-ClickHouse-Sink 描述 用于数据库的器。 由。 用于将数据加载到ClickHouse的高性能库。 它有两个触发器来加载数据：超时和缓冲区大小。 版本图 闪烁 flink-clickhouse-sink 1.3。* 1.0.0 1.9。* 1.3.1 ...
yarn 提交任务报错
二十世纪少年的博客
11-07 1499
刚搭的集群，提交flink任务报错INFO org.apache.flink.yarn.YarnClusterDescriptor [] - Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster。在/etc/hosts中把每台服务器的地址和别名加进去。没有修改hosts文件。
CDH yarn Fair 队列最大资源使用限制，任务无法提交
最新发布
永青技术博客
06-30 528
2023-06-29 15:48:20,877 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster 2023-06-29 15:48:21,129 INFO org.apache.flink.yarn.YarnClusterD
pyflink执行任务问题总结
qq_41895446的博客
12-23 3997
pyflink执行任务问题总结问题：一、Timeout expired while fetching topic metadata二、Deployment took more than 60 seconds三、SyntaxError: invalid syntax四、Failed to deserialize JobGraph五、The cluster does not have the requested resources for the JobManager available!六、Permissio
flink的slot如何配置？
科小勒的博客
04-16 3481
Task Solt的配置为什么等于提交代码运行的最大的并行度？ 1、为了提高容错，如果一个slot失败，可以直接分配到其他slot执行 2、由于每个算子的执行速度不同，flink为了保证并行执行的效率， 不是将每个合并后的操作分配到一个Task Slot中(有些执行快，有些执行慢，慢的还会一直占用该slot)，而是采用在每个slot中存所有的操作 例如： public class BatchWordCount { public static void main(String[] args) th
kafka框架
科小勒的博客
01-06 2315
kafka kafka概述 消息队列的两种模式 1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 2）发布/订阅模式（一对多，消费者消费数据之后不会清除消息） （1）Producer ：消息生产者，就是向kafka broker发消息的客户端； （2）Consumer ：消息消费者，向kafka broker取消息的客户端； （3）Consumer Group （CG）：消费者组，由多个consumer组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个消费者消费；消费
用图带你了解大数据框架架构之DophinScheduler
科小勒的博客
10-15 2083
用途：任务调度优势：分布式、易扩展、可视化的DAG工作流，开箱即用，国产易用。
配置Flink依赖的pom文件时报错：flink-clients_2.11 & flink-streaming-java_2.11
06-07
这个问题可能是由于你在pom文件中引入了不兼容的Flink版本所引起的。请检查你的pom文件，确保所有的Flink依赖项都使用相同的版本号，并且与你正在使用的Java版本兼容。 如果你使用的是Java 8，则需要使用Flink 1.9.x或更高版本，因为这些版本是兼容Java 8的。如果你使用的是Java 7，则需要使用Flink 1.6.x版本。 你可以尝试在pom文件中引入以下依赖项，来解决这个问题： ```xml <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java_${scala.binary.version}</artifactId> <version>${flink.version}</version> </dependency> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-clients_${scala.binary.version}</artifactId> <version>${flink.version}</version> </dependency> ``` 请确保`${flink.version}`和`${scala.binary.version}`的值是一致的，并且与你正在使用的Flink版本和Scala版本相匹配。 如果问题仍然存在，请提供更多的错误信息或上下文内容，以便我可以更好地帮助你解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值