在flink集群中运行jar包出ClusterRetrieveException: Couldn‘t retrieve Yarn cluster问题的解决办法

最新推荐文章于 2024-05-14 09:51:31 发布
VIP文章 最新推荐文章于 2024-05-14 09:51:31 发布
阅读量3k 收藏 2
点赞数
文章标签： flink jar
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/onthe_wing/article/details/120006722
版权

如果将idea上的flink代码打包运行在flink集群上，出现如下问题
在这里插入图片描述
有两方面需要考虑：

一、修改yarn-site.xml配置文件，原因是可能内存超过虚拟内存的限制，所以需要对yarn进行虚拟内存限制修正，将如下两个配置改为false
<property>
    //pmem指的是默认检查物理内存,容器使用的物理内存不能超过我们限定的内存大小,因为我们上面设置了所有容器能够使用的最大内存数量,超出这个内存限制,任务就会被kill掉
    <name>yarn.nodemanager.pmem
最低0.47元/天 解锁文章
onthe_wing
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
flink k8s HA 报ClusterRetrieveException: Could not get the rest endpoint
csdn问鼎
04-25 412
从源码中可以看到实现上的jobmanager 这个svc要以flink-cluster-rest 来命名才能解析到jobmanager地址。我是在用flink sql-client 提交任务发现的这个问题。
flink依赖jar包——解决NoClassDefFoundError: com/sun/jersey
01-22
当flink on yarn模式运行时，发生如下异常信息，需要将压缩包中的4个依赖jar包放入flink安装路径下的lib目录下。 Exception in thread "main" java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig at org.apache.hadoop.yarn.client.api.TimelineClient.createTimelineClient(TimelineClient.java:45) at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.serviceInit(YarnClientImpl.java:163) at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163) at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:150) at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56) ... Caused by: java.lang.ClassNotFoundException: com.sun.jersey.api.client.config.ClientConfig
SpringBoot连接redis集群:Could not retrieve cluster information. CLUSTER NODES returned with error.
st1527960117的博客
04-10 1万+
由于之前在运行docker上的redis集群时出现: 之后也就没有在意，后来在项目中遇到 org.springframework.data.redis.ClusterStateFailureException: Could not retrieve cluster information. CLUSTER NODES returned with error. at org.spring...
Flink on yarn Couldn‘t deploy Yarn cluster或者The YARN application unexpectedly switched to state FAIL
Joseph25的博客
03-28 1万+
Error while deploying YARN cluster: Couldn't deploy Yarn cluster java.lang.RuntimeException: Couldn't deploy Yarn cluster at org.apache.flink.yarn.AbstractYarnClusterDescriptor.deploy(AbstractYarnCl...
flink on yarn模式出现The main method caused an error: Could not deploy Yarn job cluster问题排查+解决
热门推荐
微电子学与固体电子学-俞驰
06-08 2万+
报错复现: flink run -m yarn-cluster -p 2 -yjm 700m -ytm 1024m -c WordCount target/bbb-1.0-SNAPSHOT.jar 完整报错如下: The program finished with the following exception: org.apache.flink.client.program.ProgramInvocationException: The main method caused an error:
flink源码分析-flink-yarn-session共享模式下job提交流程分析
Share With You
05-05 1677
前言 之前的文章中已对flink-yarn-session的独立模式下job的提交流程进行了分析，今天在此基础上，对flink-yarn-session的共享模式下job提交流程进行分析。 flink-yarn-seesion共享模式job提交流程分析 前面文章中已经介绍了flink-yarn-session的独立模式与共享模式出现的分支节点在org.apache.flink.client....
【Flink on yarn Couldn‘t deploy Yarn session cluster】
weixin_50336269的博客
08-30 1099
Flink on yarn Couldn‘t deploy Yarn session cluster/ The YARN application unexpectedly switched to state FAIL
flink部署yarn错误：Couldn‘t deploy Yarn session cluster
饶一熊的博客
04-09 7983
Couldn’t deploy Yarn session cluster 错误信息 flink on yarn启动yarn-session时, 出现yarn-session无法部署错误 并且提示2.1G的虚拟内存使用了2.2GB内存. ... org.apache.flink.client.deployment.ClusterDeploymentException: `Couldn't deploy Yarn session cluster` at org.apache.flink.yarn
Flink集群启动报错 org.apache.flink.client.deployment.ClusterDeploymentException
weixin_44393345的博客
06-03 8279
org.apache.flink.client.deployment.ClusterDeploymentException Couldn’t deploy Yarn 出现此类错误，主要的原因是Current usage: 75.1 MB of 1 GB physical memory used; 2.1 GB of 2.1 GB virtual memor y used. Killing container. 字面原因是容器内存不够，实际上是flink on yarn启动时检查虚拟内存造成的 所以修改配置文
flink1.14.3 cdc jar包
03-13
flink-1.14.3 的所有flink cdc jar包，包含 oracle，mysql，postgres，sqlserver，mongodb
flink1.14.6版本 lib目录依赖jar包
05-25
flink-connector-jdbc_2.12-1.14.6.jar、flink-doris-connector-1.14_2.12-1.1.1.jar、flink-sql-connector-mysql-cdc-2.2.1.jar、mysql-connector-java-5.1.27-bin.jar、flink-dist_2.12-1.14.6.jar、flink-faker-...
cdh6.3.1 FLINK_ON_YARN-1.14.0.jar
02-14
CDH6.3.1集成安装flink on yarn服务（通过parcel制作生成的csd...文件名：FLINK_ON_YARN-1.14.0.jar 相关信息如下： 1. flink版本号：1.14.0 2. 系统版本：CentOS7.7 3. CDH版本：6.3.1 4. 扩展版本号：BIN-SCALA_2.11
docker-flink:使用 Docker-Compose 在 Docker 容器中部署 Apache Flink 集群
06-17
#Apache Flink 集群部署在 Docker 上使用 Docker-Compose ##安装###安装Docker 如果您遇到与 Docker 版本不兼容的 Docker-Compose 版本问题，请尝试curl -sSL https://get.docker.com/ubuntu/ | sudo sh ###Install ...
Could not retrieve the web interface URL for the cluster 错误问题解决
yfqfy的专栏
03-01 1843
问题描述： org.apache.flink.client.program.rest.RestClusterClient:Could not retrieve the web interface URL for the cluster. 详细日志如下 Exception in thread "main" java.util.concurrent.ExecutionException: org.apache.flink.runtime.client.JobSubmissionExcepti...
flink on yarn 集群模式启动报错及解决方案汇总
大数据技术博客
03-17 1万+
注意：想要使用flink on yarn 模式，需要确保hadoop集群启动成功，并且需要在yarn的某一个节点上面执行flink on yarn的脚本 没有启动hadoop集群，执行flink的bin/yarn-session.sh脚本会报下面错误 脚本会一直卡在这里，一直输出重试日志，连不上resoucemanager，说明hadoop集群每启动 2018-03-17 12:30:...
[1133]flink问题集锦
周小董
04-23 5734
文章目录 问题1： Could not get job jar and dependencies from JAR file: JAR file does not exist: -yn 原因：flink1.8版本之后已弃用该参数，ResourceManager将自动启动所需的尽可能多的容器，以满足作业请求的并行性。解决方法：去掉即可 问题2： java.lang.IllegalStateException: No Executor found. Please make sure to export t
CDH 6.3.2集成flink 1.18 zookeeper版本不匹配Flink-yarn启动失败
qq_21480329的博客
12-31 1618
CDH 6.3.2集成flink 1.18.0 zookeeper版本不匹配
redis集群java实践问题记录
Y_FQY的博客
06-05 2245
一.使用条件 redis 3.2.100 64bit java相关jar包： jedis-2.9.0 commons-pool2-2.4.2 二.问题现象以及解决方法 2.1 问题描述：Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/commons/pool2/impl/Gener
30、Flink 的故障恢复详解
最新发布
猫猫爱吃小鱼粮
05-14 1269
Flink 的故障恢复详解
flink phoenix 解决jar包冲突
05-28
如果在使用 Flink 和 Phoenix 时出现了 jar 包冲突，可以尝试以下解决方法： 1. 排除冲突的 jar 包 在 Maven 或 Gradle 依赖中可以指定排除某些 jar 包的依赖，例如： ``` <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId> <version>${flink.version}</version> <exclusions> <exclusion> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> </exclusion> </exclusions> </dependency> ``` 这里排除了 `flink-connector-kafka_2.11` 的依赖中的 `kafka-clients` jar 包。 2. 引入 shade 插件 可以使用 Maven 的 shade 插件将依赖的 jar 包重命名并打包到一个新的 jar 包中，避免 jar 包冲突，例如： ```xml <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>3.2.3</version> <configuration> <relocations> <relocation> <pattern>com.google.common</pattern> <shadedPattern>shade.com.google.common</shadedPattern> </relocation> </relocations> </configuration> </plugin> ``` 这里将依赖的 `com.google.common` 包重命名为 `shade.com.google.common`。 3. 修改 Flink 的 classpath 可以将依赖的 jar 包放到 Flink 的 classpath 中，例如在启动 Flink JobManager 或 TaskManager 时指定 classpath： ``` ./bin/flink run -m yarn-cluster -yn 3 -c com.acme.MyFlinkJob -classpath "/path/to/dependency/*" /path/to/MyFlinkJob.jar ``` 这里将依赖的 jar 包放到了 `/path/to/dependency/` 目录下，并通过 `-classpath` 参数将该目录下所有 jar 包加入到 Flink 的 classpath 中。 希望这些方法可以帮助你解决 jar 包冲突问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值