flink启动yarn-session报错javax/ws/rs/ext/MessageBodyReader

最新推荐文章于 2022-06-20 17:15:03 发布
最新推荐文章于 2022-06-20 17:15:03 发布
阅读量2.6k 收藏 2
点赞数
分类专栏： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/appleyuchi/article/details/106605882
版权

问题复现:

/home/appleyuchi/bigdata/flink-1.10.1/bin/yarn-session.sh

报错如下:

2020-06-07 19:05:01,358 ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli                 - Error while running the Flink session.
java.lang.NoClassDefFoundError: javax/ws/rs/ext/MessageBodyReader
	at java.lang.ClassLoader.defineClass1(Native Method)
	at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
	at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
	at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
	at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:368)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:362)
	at java.security.AccessController.doPrivileged(Native Method)
	at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	at java.lang.ClassLoader.defineClass1(Native Method)
	at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
	at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
	at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
	at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:368)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:362)
	at java.security.AccessController.doPrivileged(Native Method)
	at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	at java.lang.ClassLoader.defineClass1(Native Method)
	at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
	at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
	at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
	at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:368)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:362)
	at java.security.AccessController.doPrivileged(Native Method)
	at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	at org.apache.hadoop.yarn.util.timeline.TimelineUtils.<clinit>(TimelineUtils.java:50)
	at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.serviceInit(YarnClientImpl.java:179)
	at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
	at org.apache.flink.yarn.YarnClusterClientFactory.getClusterDescriptor(YarnClusterClientFactory.java:71)
	at org.apache.flink.yarn.YarnClusterClientFactory.createClusterDescriptor(YarnClusterClientFactory.java:56)
	at org.apache.flink.yarn.YarnClusterClientFactory.createClusterDescriptor(YarnClusterClientFactory.java:42)
	at org.apache.flink.yarn.cli.FlinkYarnSessionCli.run(FlinkYarnSessionCli.java:529)
	at org.apache.flink.yarn.cli.FlinkYarnSessionCli.lambda$main$5(FlinkYarnSessionCli.java:785)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1836)
	at org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)
	at org.apache.flink.yarn.cli.FlinkYarnSessionCli.main(FlinkYarnSessionCli.java:785)
Caused by: java.lang.ClassNotFoundException: javax.ws.rs.ext.MessageBodyReader
	at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	... 49 more

------------------------------------------------------------
 The program finished with the following exception:

java.lang.NoClassDefFoundError: javax/ws/rs/ext/MessageBodyReader
	at java.lang.ClassLoader.defineClass1(Native Method)
	at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
	at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
	at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
	at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:368)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:362)
	at java.security.AccessController.doPrivileged(Native Method)
	at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	at java.lang.ClassLoader.defineClass1(Native Method)
	at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
	at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
	at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
	at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:368)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:362)
	at java.security.AccessController.doPrivileged(Native Method)
	at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	at java.lang.ClassLoader.defineClass1(Native Method)
	at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
	at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
	at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
	at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:368)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:362)
	at java.security.AccessController.doPrivileged(Native Method)
	at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	at org.apache.hadoop.yarn.util.timeline.TimelineUtils.<clinit>(TimelineUtils.java:50)
	at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.serviceInit(YarnClientImpl.java:179)
	at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
	at org.apache.flink.yarn.YarnClusterClientFactory.getClusterDescriptor(YarnClusterClientFactory.java:71)
	at org.apache.flink.yarn.YarnClusterClientFactory.createClusterDescriptor(YarnClusterClientFactory.java:56)
	at org.apache.flink.yarn.YarnClusterClientFactory.createClusterDescriptor(YarnClusterClientFactory.java:42)
	at org.apache.flink.yarn.cli.FlinkYarnSessionCli.run(FlinkYarnSessionCli.java:529)
	at org.apache.flink.yarn.cli.FlinkYarnSessionCli.lambda$main$5(FlinkYarnSessionCli.java:785)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1836)
	at org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)
	at org.apache.flink.yarn.cli.FlinkYarnSessionCli.main(FlinkYarnSessionCli.java:785)
Caused by: java.lang.ClassNotFoundException: javax.ws.rs.ext.MessageBodyReader
	at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	... 49 more

去maven仓库找到

<!-- https://mvnrepository.com/artifact/javax.ws.rs/javax.ws.rs-api -->
<dependency>
    <groupId>javax.ws.rs</groupId>
    <artifactId>javax.ws.rs-api</artifactId>
    <version>2.0</version>
</dependency>

或者直接下载javax.ws.rs-api-2.0.jar放到$FLINK_HOME/lib(注意集群的其他节点也需要补充这个jar)下面即可

重新启动yarn-session,报错消失。

 

Flink启动yarn-session报错：Error while running the Flink session. java.lang.NoSuchMethodError
zhengzaifeidelushang的博客
05-19 1861
2021-05-19 13:18:35,976 ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli [] - Error while running the Flink session. java.lang.NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/String;)Lorg/apache/commons/cli/Option$Buil
Apache Flink连载（十九）：Flink On Yarn运行-Yarn Session模式
最新发布
qq_32020645的博客
12-28 1362
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。
用 Java 技术创建 RESTful Web 服务
Macroli
03-24 1564
<br />转载：http://www.ibm.com/developerworks/cn/web/wa-jaxrs/<br /> <br />JAX-RS (JSR-311) 【Java API for RESTful Web Services】是一种 Java™ API，可使 Java Restful 服务的开发变得迅速而轻松。这个 API 提供了一种基于注释的模型来描述分布式资源。注释被用来提供资源的位置、资源的表示和可移植的（pluggable）数据绑定架构。在本文中，学习如何使用 JAX-RS 在
Flink 提交任务报错: NoClassDefFoundError: javax/ws/rs/ext/MessageBodyReader
张伯毅的专栏
04-06 3374
一. 报错信息: [yarn@master01 flink-1.12.0]$ flink run -t yarn-per-job -c org.apache.flink.streaming.examples.socket.SocketWindowWordCount examples/streaming/SocketWindowWordCount.jar --port 9999 2021-03-31 14:42:41,701 WARN org.apache.flink.yarn.configurati
【CI/CD-Jenkins】Jenkins整合gitee报错java.lang.NoClassDefFoundError: javax/ws/rs/ext/MessageBodyReader
Japathy
02-20 1012
Jenkins整合Gitee时页面报错 成功那里报错时是ERROR，找半天没找到解决方法，最后在Gitee上发现要装Jersey 2 API 插件就行了(或者安装https://repo1.maven.org/maven2/javax/ws/rs/javax.ws.rs-api/2.1.1/这个jar包到jenkins运行的lib目录就行，不推荐)。 ISSUE地址：Jenkins配置gitee插件报错 ...
flink-yarn启动yarn-session时报错Deployment took more than 60 seconds
科小勒的博客
04-14 4504
报错信息 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster 由于flink配置了高可用，所以在启动时需要启动zookeeper，如果不启动zookeeper，高可用则不能使用，会报如上错误。 启动zookeeper再启
创建一个简单的JAX-RS MessageBodyWriter
最佳 Java 编程
05-20 297
JAX-RS确实很酷，借助JAXB，只需添加带有JAXB批注的批注数据对象，即可为您转换许多响应数据类型。 我对JAXB相当陌生，但是一些简单的注释剪切/粘贴操作将带给您很长的路要走。 出于无法从JAX-RS资源方法返回该数据类型的目的，可能有某些类型的数据无法注释或不会注释。 一个简单的示例是返回布尔（原始）或包装器布尔类。 我在StackOverflow上读了一个问题，有人问他们是否...
Flink:Yarn-Session 启动
u012566690的专栏
08-29 2906
背景： 自己搭建了flink 单机版本时，到 flink on yarn 这一步卡住了，不能正常运行执行./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m 包括 GetClusterMetricsRequestProto cannot be cast to com.google.protobuf.Message 主要原因是未指定HADOOP_CONF_DIR环境变量，下面给出整个过程 ##1. 参照文档，下载&&编译flink 源码,这个时候，s
flink yarn-session.sh启动任务指定的应用名和队列无效问题
云想慕尘的专栏
07-01 4868
问题背景 我有一个hadoop集群和一台机器A. 我在机器A上，使用命令: bin/yarn-session.sh -n 5 -jm 1g -tm 4g -s 4 -qu root.flink -nm fsql-cli > /dev/null 2>&1 & 启动了一个yarn-session，其中，指定了队列root.flink和应用名fsql-cli。 但是，在yarn控制台中看到应用的名称和队列跟指定的名称大多数情况下不一致，如图： 启动后，应用名为：Flink sess
jdk10+ java.lang.NoClassDefFoundError: javax/xml/ws/Service 错误
01-27
jdk升级之后出现异常：java.lang.NoClassDefFoundError: javax/xml/ws/Service 1、解决方案jdk降级至1.8之前 2、由于JDK9以后，去除了javax.xml包需要引入对应的jar包 <dependency> <groupId>javax.activation</groupId> <artifactId>javax.activation-api</artifactId> <version>1.2.0</version> </dependency> <dependency> <groupId>javax.xml.bind</groupId> <artifactId>jaxb-api</artifactId> <version>2.3.1</version> </dependency> .....
Flink-1.13.0 sql-client yarn-session模式部署
lyd882的博客
05-31 2274
Flink-1.13.0 sql-client yarn-session模式部署 当前flink：sql-client.sh是 flink下类似spark-sql的sql方式处理数据的操作接口,可以像操作普通有界数据表一样去操作无界数据流，支持流实时查询、join、事件时间、水印延迟、窗口等各种操作，不用写java/scala/python代码一样可以操作数据流，当前主sql引擎采用alibaba Blink sql实现，当前flink-1.13.0版本仍是bata版本,有的公司已经在使用，也是未来的一个趋
flink启动yarn-session命令报错的解决方案
weixin_39868387的博客
02-22 3668
flink启动yarn-session命令报错 报错信息 org.apache.flink.client.deployment.ClusterDeploymentException: Couldn’t deploy Yarn session cluster 如图所示： 自己进入hadoop的配置文件 把这个配置参数删除： !--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值...
eureka启动报错-ClassNotFoundException
weixin_44240141的博客
06-20 375
ClassNotFoundException
javax.ws.rs.NotFoundException
T123012009065的专栏
03-26 739
这个错误应该是rs类里面没有方法
Flink 报错 Caused by: java.lang.ClassNotFoundException: org.apache.flink.api.java.ExecutionEnvironment
weixin_44393345的博客
10-27 6316
原因是因为: Flink 版本与 Flink Table 版本不对应导致的
java -jar -d64_JVM基础篇
weixin_42504649的博客
03-04 865
1.JVM的组成类加载器(ClassLoader)运行时数据区(Runtime Data Area) (堆、栈)执行引擎(Execution Engine) c++/C本地库接口(Native Interface)2. jvm的运行参数2.1 三种参数类型jvm的参数类型分为三类，分别是：标准参数-help-version-X参数 (非标准参数)-Xint-Xcomp-XX参数(非stable参数...
java -d64 -jar,启动Java时-d32和-d64的用法
weixin_32089639的博客
02-13 430
I read below excerpt from JDK FAQ'sHow do I select between 32 and 64-bit operation? What's the default?The options -d32 and -d64 have been added to the Java launcher tospecify whether the program is t...
flink启动出现java.lang.NoClassDefFoundError: org/apache/hadoop/fs/Path
微电子学与固体电子学-俞驰
06-13 5601
java.lang.NoClassDefFoundError: org/apache/hadoop/fs/Path at org.apache.flink.yarn.cli.FlinkYarnSessionCli.getLocalFlinkDistPathFromCmd(FlinkYarnSessionCli.java:276) at org.apache.flink.yarn.cli.FlinkYarnSessionCli.applyDescriptorOptionToConfig(Fli...
java命令中-d32和-d64的含义
senvil的专栏
10-04 4336
ava命令中用-d32和-d64来表明程序运行在32位或者64位环境。如果JVM本身不支持该参数，会报告错误： Java代码   java -d32  Unrecognized option: -d32  Could not create the Java virtual machine.    当前仅有java hotspot server VM支持64位模式。选择 "-s
#提交任务 flink run-application -t yarn-application /root/flink060106_util.jar。。。怎么理解。。
05-18
这是在使用 Apache Flink 分布式处理框架时提交一个任务的命令，具体解释如下： `flink run-application`：启动一个 Flink 应用程序。 `-t yarn-application`：指定提交到 YARN 集群上运行。 `/root/flink060106_util.jar`：指定要运行的应用程序 JAR 包路径。 因此，该命令的含义是将 `/root/flink060106_util.jar` 提交到 YARN 集群以运行 Flink 应用程序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值