【Flink】Flink yarn 下报错ClassNotFoundException: org.apache.hadoop.yarn.api.ApplicationConstants$Environ

已于 2023-07-25 17:57:09 修改
阅读量1.4k 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink apache hadoop
于 2020-08-29 10:04:09 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/108291028
版权
大数据-flink 专栏收录该内容
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文档详细记录了Flink在Yarn上启动时遇到的ClassNotFoundException问题，问题根源在于yarn-site配置的lib目录缺失部分类及容器默认内存不足。解决方法包括检查Flink与YARN版本兼容性、环境和类路径设置，确保flink-yarn_*.jar文件正确部署，以及重启和清理YARN集群。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

flink启动日志报错如下

2020-08-28 16:44:19,839 ERROR org
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
Flink1.13sql提交任务报错ClassNotFoundException:org.apache.kafka.common.serialization.ByteArrayDeserializer
打工日常
12-19 1521
详情请见： 【腾讯文档】Flink1.13.3 sql-client提交kafka任务报错：java.lang.ClassNotFoundException org.apache.kafka.common.serialization.ByteArrayDeserializer https://docs.qq.com/doc/DRmNnbVhwTVNhd25N
Flink on yarn ClassNotFoundException
lvwenyuan_1的博客
07-30 1884
背景 最近，我司决定将flink 从1.7.2升级到1.8.1。但是，flink 1.8.1运行jar，基于on yarn的模式就会报错。 问题以及解决 运行日志，一开始 Setting HADOOP_CONF_DIR=/etc/hadoop/conf because no HADOOP_CONF_DIR was set. 然后就出现Could not build the program...
flink依赖jar包——解决NoClassDefFoundError: com/sun/jersey
01-22
当flink on yarn模式运行时，发生如下异常信息，需要将压缩包中的4个依赖jar包放入flink安装路径下的lib目录下。 Exception in thread "main" java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig at org.apache.hadoop.yarn.client.api.TimelineClient.createTimelineClient(TimelineClient.java:45) at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.serviceInit(YarnClientImpl.java:163) at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163) at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:150) at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56) ... Caused by: java.lang.ClassNotFoundException: com.sun.jersey.api.client.config.ClientConfig
Flink on yarn 出现java.lang.NoClassDefFoundError跟ClassNotFoundException
Joseph25的博客
04-01 3575
在Flink on yarn上 出现java.lang.NoClassDefFoundError跟ClassNotFoundException 通常是因为代码没有所需的依赖，根据提示定位到出错的代码行 DataSource<String> textFile = env.readTextFile(input); DataSet<Tuple2<String...
Flink on yarn-session启动出错 Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.except
qwerdftgu的博客
07-18 526
Flink on yarn-session启动出错 Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnException org.apache.hadoop.conf.Configuration。
flink启动出现java.lang.NoClassDefFoundError: org/apache/hadoop/fs/Path
微电子学与固体电子学-俞驰
06-13 5600
java.lang.NoClassDefFoundError: org/apache/hadoop/fs/Path at org.apache.flink.yarn.cli.FlinkYarnSessionCli.getLocalFlinkDistPathFromCmd(FlinkYarnSessionCli.java:276) at org.apache.flink.yarn.cli.FlinkYarnSessionCli.applyDescriptorOptionToConfig(Fli...
flink 在本地启动 报错ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnException解决方法
09-08 2035
ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnException 解决方法，用meven将flink的项目打成运行的包用依赖的包就解决
【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration
一杯咖啡半杯糖的博客
02-19 705
【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration或者ClassNotFoundException: org.apache.hive.common.util.HiveVersionInfo 都可解决
【Flink】:ClassNotFoundException: org.apache.flink.streaming.api.functions.source.SourceFunction
一杯咖啡半杯糖的博客
10-26 3641
FLINK:ClassNotFoundException: org.apache.flink.streaming.api.functions.source.SourceFunction
【Flink】Flink 提交任务报错 NoSuchMethodError: org.apache.commons.cli.Option.builder
九师兄
07-17 773
这个是common-cli 包冲突，改成和flink版本引用的相同就可以了，比如 1.5.0。
flink遇到NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException错误
Accelerating的博客
06-21 4376
EMR flink1.12.1升级到flink1.13.1，启动yarn-session时，遇到Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException 需要在yarn-session.sh 文件中添加 或者在环境变量中添加 export HADOOP_CLASSPATH=`hadoop classpath` 这里选择在环境变量中设置,再启动，异常得
Flink 1.9 : Wordcount报错：ClassNotFoundException: yarn.exceptions.YarnException
九师兄
09-24 3094
1.背景 启动flink lcc@lcc bin$ ./start-cluster.sh Starting cluster. Starting standalonesession daemon on host lcc. Starting taskexecutor daemon on host lcc. 然后执行wordcount命令 lcc@lcc flink-1.9.0$ ./bin/flin...
flink实战--Application模式下java程序将flink任务提交到yarn集群
阿华田的博客
01-19 3013
扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦 简介 对于单个flink任务提交到yarn集群，通过命令行的方式是能接受的，但是我们开发实时计算平台就需要通过代码的方式将我们管理的flink任务提交到yarn集群上去。本文主要介绍flink1.11新的部署模式–Application模式，具体Application模式和其他提交方式的区别可以参考我的这篇文章：flink on yarn。 程序提交flink任务的步骤 第一步：引入相关的配置到...
Flink-Application模式提交任务到Yarn集群，包括jar包提交方法和javaApi提交方法
clearlxj的博客
09-30 6948
Flink Application 对于per job模式，jar包的解析、生成JobGraph是在客户端上执行的，然后将生成的jobgraph提交到集群。如果任务特别多的话，那么这些生成JobGraph、提交到集群的操作都会在实时平台所在的机器上执行，那么将会给服务器造成很大的压力。 此外这种模式提交任务的时候会把本地flink的所有jar包先上传到hdfs上相应 的临时目录，这个也会带来大量的网络的开销，所以如果任务特别多的情况下，平台的吞吐量将会直线下降。 所以针对flink per job模式的一些
hadoop启动报错java.lang.ClassNotFoundException org.apache.hadoop.yarn.server.timelineservice
m0_67391270的博客
04-18 1399
**问题所在：**hadoop启动报错，缺少hadoop-yarn-server-timelineservice jar包 **解决办法：**将hadoop-2.9.2sharehadoopyarn imelineservice下hadoop-yarn-server-timelineservice-2.9.2.jar 复制到hadoop-2.9.2sharehadoopyarnlib目录下
Flink 1.10 :第一次运行报错：ClassNotFoundException: yarn.exceptions.YarnException
joomlaer的专栏
10-22 1030
flink有三种启动方式。本地方式，集群方式，和flink on yarn。 现在说第三种生产上最常用的flink on yarn方式。 首先启动flink on yarn。 出现问题: 第一次运行报错：ClassNotFoundException: yarn.exceptions.YarnException 这个错误，解决方法很简单。需要把把官方的flink-shaded-hadoop-2-uber-2.7.5-7.0.jar放到flink的lib目录里。 由于这个包在国外服务器上，下载很慢，
以Yarn模式启动Flink报错Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/ex
QYHuiiQ
04-06 1092
下载对应的jar，按照Hadoop的版本（我的是2.7.5）下载。然后放到Flink的lib目录下。
Caused by: java.lang.ClassNotFoundException: org.apache.flink.api.common.functions.FilterFunction
最新发布
03-14
Caused by: java.lang.ClassNotFoundException: org.apache.flink.api.common.functions.FilterFunction 是一个Java异常，表示在运行时找不到指定的类。在这个特定的异常中，它指的是无法找到名为org.apache.flink.api.common.functions.FilterFunction的类。 这个异常通常发生在使用Apache Flink框架时，当尝试使用FilterFunction类时，但是该类在classpath中不存在或无法加载时会抛出此异常。 FilterFunction是Apache Flink中的一个接口，用于定义过滤操作的函数。如果你想在Flink应用程序中使用FilterFunction，你需要确保以下几点： 1. 你的项目依赖中包含了Apache Flink的相关库。 2. 你正确地导入了org.apache.flink.api.common.functions.FilterFunction类。 3. 你的项目构建过程中正确地将相关依赖项添加到classpath中。 如果你已经满足了上述条件，但仍然遇到ClassNotFoundException异常，可能是由于以下原因之一： 1. 你的项目依赖配置有误，可能缺少了Apache Flink相关的库。 2. 你的项目构建过程中没有正确地将依赖项添加到classpath中。 3. 你的项目运行环境中没有正确地配置Apache Flink。 请检查以上条件，并确保你的项目正确地配置了Apache Flink相关的依赖项和运行环境。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值