【Flink】Flink 提交 任务 到 yarn 报错 NoClassDefFoundError ImutabMap

最新推荐文章于 2022-10-16 11:29:32 发布
最新推荐文章于 2022-10-16 11:29:32 发布
阅读量449 收藏
点赞数
分类专栏： 大数据-hadoop 文章标签： flink java 大数据
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/124183004
版权
大数据-hadoop 专栏收录该内容
128 篇文章 481 订阅 ¥29.90 ¥99.00
订阅专栏
在尝试将Flink任务部署到Yarn时遇到启动失败的问题，错误表现为NoClassDefFoundError，指向ImutabMap类。这通常是因为类库冲突或JAR包不兼容。解决方案是将依赖的Hadoop 2包替换为Hadoop 3的包，以确保类路径正确并避免版本不匹配导致的错误。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

‘flink on yarn启动不了的 ，flink提交任务报错
在这里插入图片描述

这个一看就是 缺少类 或者 类冲突

在这里插入图片描述
是jar包问题，把hadoo2的包换成hadoop3的

九师兄
关注
专栏目录
订阅专栏
flink实战--idea本地提交Flink任务到远程的集群
阿华田的博客
01-08 4715
简介 你是不是还在打包上传到远程集群运行flink任务？这样会浪费很多时间，为了节约大家的时间，flink提供了createRemoteEnvironment方法，可以实现本地任务提交到远程集群的方法，本文具体介绍一下。 createRemoteEnvironment 源码如下：org.apache.flink.api.java.R...
flink on yarn 缺少依赖NoClassDefFoundError: com/sun/jersey
06-06
flink-hadoop-compatibility_2.12-1.7.1.jar javax.ws.rs-api-2.0.1.jar jersey-common-2.27.jar jersey-core-1.19.4.jar 解决 Exception in thread "main" java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig
flink on yarn运行异常NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig
雾幻的博客
01-22 3700
flink on yarn模式在运行时发生如下异常信息 18/08/25 17:29:28 WARN ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version 1.2.0 18/0...
flink命令行运行报错
qq_45626867的博客
12-26 1263
报错信息 /root/bigdata/flink-1.10.2/bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 /root/jar/bdss-1.0-SNAPSHOT.jar -c sssj.Myredis SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/root/bigdata/flink-1.10.2/lib/slf
flink遇到NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException错误
Accelerating的博客
06-21 4408
EMR flink1.12.1升级到flink1.13.1，启动yarn-session时，遇到Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException 需要在yarn-session.sh 文件中添加 或者在环境变量中添加 export HADOOP_CLASSPATH=`hadoop classpath` 这里选择在环境变量中设置,再启动，异常得
flink依赖jar包——解决NoClassDefFoundError: com/sun/jersey
01-22
当flink on yarn模式运行时，发生如下异常信息，需要将压缩包中的4个依赖jar包放入flink安装路径下的lib目录下。 Exception in thread "main" java.lang.NoClassDefFoundError: ...
CDH6.2.1集成flink（flink on yarn或Flink-Standalone服务）
QYmufeng的博客
06-16 1858
目录 一：环境准备 二：下载安装包 1. Flink-shaded包 2. flink1.10.2 源码包 3. maven配置文件 三：编译flink-shaded版本 1. 解压tar包 2. 解压文件后目录结构 3. 修改pom文件 4. 开始编译 四：编译Flink1.10.2源码 1. 解压tar包 2. 执行编译 3. 等待编译成功 4. 打包编译好的文件 五：制作parcel包 1. 下载git开源制作parcel包的项目 2. 修改配置文件 flink-parcel.properties 3
flink实战--flink on yarn
阿华田的博客
10-31 5668
Flink on yarn 配置 如果我们打算把flink任务提交到yarn上，那么只需要一台flink客户机即可，但是需要有如下的配置 第一步：设置HADOOP_CONF_DIR环境变量 export HADOOP_CONF_DIR=/usr/local/service/hadoop/etc/hadooop/ 注意：如果在flink的配置文件中设置Hadoop的环境变量，......
Spark on Yarn 找不到第三方的Jar包或配置文件,报错NoClassDefFoundError解决思路
u014040073的博客
12-24 3035
1.背景介绍 在本地使用idea 开发spark项目,用到了ipdatabase开源项目(GitHub),在使用idea中集成的maven把项目打成jar包后，使用spark-submit将jar包提交到yarn集群上出现了问题,报NoClassDefFoundError 2.解决思路 使用–jars或者把缺少的jar包拷贝到${spark_home}的jars文件夹下,结果依旧报错 使...
【Flink】flink消费kafka报错 KafkaConsumer.assign Ljava/util/List
九师兄
07-01 1000
1.概述 flink消费kafka上数据时报错： Caused by: java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.assign(Ljava/util/List;)V 错误原因： Flink的kafka Consumer版本和kafka-client的版本不一致 <dependency> <groupId>org.apache.kafka&lt.
Flink无法在yarn提交任务：取消检查虚拟内存
weixin_52268321的博客
06-21 839
无论是会话模式，还是单作业模式，Flink无法运行
Flink on yarn 出现java.lang.NoClassDefFoundError跟ClassNotFoundException
Joseph25的博客
04-01 3577
在Flink on yarn上 出现java.lang.NoClassDefFoundError跟ClassNotFoundException 通常是因为代码没有所需的依赖，根据提示定位到出错的代码行 DataSource<String> textFile = env.readTextFile(input); DataSet<Tuple2<String...
Flink Yarn 模式启动 错误问题集锦
我是小坏
02-20 4181
1、Yarn 模式启动找不到类的问题 Caused by: java.lang.ClassNotFoundException: javax.ws.rs.ext.MessageBodyReader at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(C...
flink常见故障排除
第一片心意的博客
10-16 6770
flink常见故障排除
Flink提交任务到Yarn报错
u013044815的博客
12-08 1375
Flink版本是1.11.1 Hadoop版本是3.1.2 提交方式为Yarn application模式 提交任务后创建container失败 错误信息： SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/Data/opt/hadoop-3.1.2/tmp/nm-local-dir/usercache/root/appcache/application_1607396911850_0
Flink对接Kafka常见问题与解决方案
地推日记
08-28 6345
1.Flink对接kafka出现数据倾斜 问题现象 使用FlinkKafkaProducer进行数据生产过程中数据只写到了kafka的部分分区中，其它的分区没有数据写入。 可能原因1：Flink写kafka使用的机制与原生接口的写入方式是有差别的，在默认情况下，Flink使用了并行度编号和分区数量做取模运算计算出来。那么会有以下两种场景： 1. 并行度%分区数量=0，表示并行度是kafkatopic分区数的多倍，数据的写入每个分区数据量是均衡的。 2. 并行度%分区数量≠...
Flink项目开发、上线全流程报错集合加处理办法（持续更新，附原因解决办法）
weixin_42642502的博客
09-27 4371
1、由于自己启动任务用的是root用户、未使用FlinkProject 用户产生以下报错 org.apache.flink.client.program.ProgramInvocationException: Could not retrieve the execution result. (JobID: 9ebe0758cd287126758d57b15fb5e5a3) at org.apache.flink.client.program.rest.RestClusterClient.submitJob
Flink提交运行中常见问题总结，Flink开发问题汇总
mojolang
01-24 6310
Flink开发问题汇总 一、flink里面能调用图算法吗？ 二、Cannot instantiate user function 三、本地idea开发flink程序并本地运行读取HDFS文件 四、The assigned slot container_e08_1539148828017_15937_01_003564_0 was removed 五、java.util.concurrent.TimeoutException: Heartbeat of TaskManager with id contain
flink提交任务到yarn报错 org.apache.hadoop.ipc.Client Retrying connect to server: 0.0.0.0/0.0.0.0:8032
最新发布
06-01
这个错误通常是由于 Flink 无法连接到 YARN ResourceManager 导致的。可能的原因包括以下几个方面： 1. 检查 YARN 的配置是否正确。确保 ResourceManager 的地址和端口号正确，并且网络连接无误。 2. 检查 Flink 的配置是否正确。确保 `flink-conf.yaml` 中的 `yarn.application-attempts` 和 `yarn.resourcemanager.address` 配置正确，并且和 YARN 的配置一致。 3. 检查 Flink 和 YARN 版本是否兼容。Flink 的版本和 YARN 的版本需要匹配，否则可能会出现连接错误。 4. 检查是否有防火墙或网络代理等安全机制阻止了 Flink 和 YARN 的通信。可以尝试关闭防火墙或者检查网络代理的配置。 5. 检查 YARN ResourceManager 是否启动成功。可以查看 YARN 的日志文件，确认 ResourceManager 是否启动成功，并且监听的端口是否和配置一致。 如果以上步骤都没有解决问题，可以尝试重启 YARN 和 Flink，或者查看更详细的日志信息，找到问题的具体原因。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值