Spark on yarn(HDP) cluster踩坑记

最新推荐文章于 2021-05-06 20:52:46 发布
最新推荐文章于 2021-05-06 20:52:46 发布
阅读量461 收藏
点赞数
分类专栏： spark 文章标签： hdp spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_23160237/article/details/104893440
版权
本文记录了在HDP-2.6.5.0集群上部署Spark-2.1.0遇到的三个主要问题及其解决方案。问题包括NoClassDefFoundError与jersey版本冲突，环境变量设置不正确，以及cluster模式启动失败。解决方法涉及修改yarn-site.xml配置，设置SPARK_ENV_SH环境变量，并更新mapred-site.xml。
摘要由CSDN通过智能技术生成

集群环境

        ambari: HDP-2.6.5.0 

        spark-2.1.0-bin-hadoop2.7

 

踩坑一：

NoClassDefFoundError: org/glassfish/jersey/server/spi/container

image.png

或者

NoClassDefFoundError：com/sun/jersey/api/client/config/ClientConfig

image.png

或者

NoClassDefFoundError：com/sun/jersey/core/util/FeaturesAndProperties

image.png

解决方案：

   原因是因为发现该类在jersey-client包1.9版本中存在，而spark当前依赖的的jersery版本为2.2，jersey版本升级后，剔除了相关jar包。

发现jar中无此类
[root@linux  jars]$ pwd
/opt/spark-2.1.0-bin-hadoop2.7/jars
最低0.47元/天 解锁文章
大数据玩家
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark 2.X 疑难问题汇总
简单就好
12-29 3万+
当前spark任务都是运行在yarn上，所以不用启动长进程worker，也没有master的HA问题，所以主要的问题在任务执行层面。 作业故障分类 故障主要分为版本，内存和权限三方面。 - 各种版本不一致 - 各种内存溢出 - 其他问题 版本不一致 1）java版本不一致 报错：java.lang.UnsupportedClassVersionError: com/im
解决maven工程测试报错java.lang.ClassNotFoundException: org.glassfish.jersey.client.ClientConfig问题
风水月的专栏
05-10 1万+
最近采用maven构建工程，采用springboot+springshell开发 自定义命令行 工具，采用eclipse编译工程和运行均正常（mvn clean intall -Dskiptests=true运行也正常)，但是使用命令 mvn clean intall中对工程进行测试的代码报如下错误：java.lang.ClassNotFoundException: org.glassfish.j...
Spark 2.3.1 执行报错: NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig
张伯毅的专栏
05-13 4891
版本 Hadoop : 3.1.3 Spark : 2.11-2.3.1 执行命令: spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ --driver-memory 4g \ --executor-memory 2g \ --executor-cores 1 \ /opt/spar...
Spark on hdp yarn cluster踩坑记
bigdata_player
03-04 1031
集群环境 ambari:HDP-2.6.5.0 spark-2.1.0-bin-hadoop2.7 踩坑一： NoClassDefFoundError: org/glassfish/jersey/server/spi/ontainer 或者 NoClassDefFoundError：com/sun/jersey/api/client/c...
spark关于jersey包的冲突
zeng6325998的博客
04-11 1242
背景 今天想启动spark的history server 去查询以往的日志，发现能启动成功，但是查看web界面的时候却啥也没有，并且后台报错 java.lang.NoSuchMethodError: javax.ws.rs.core.Application.getProperties()Ljava/util/Map; org.glassfish.jersey.server.Applicat...
spark初始化源码阅读sparkonyarn的client和cluster区别
最新发布
10-20
Spark 初始化源码阅读 Spark on YARN 的 Client 和 Cluster 区别 Spark 是一个大数据处理的开源框架，它可以在多种集群管理器上运行，如 YARN、Mesos 和 Standalone。Spark on YARN 是 Spark 在 YARN 集群管理器上...
Spark实验：On Yarn模式安装部署（带答案）1
08-03
Spark on Yarn是一种将Spark应用程序部署在Hadoop YARN资源管理器上的方法，它允许Spark充分利用YARN的资源管理和调度功能。在这个实验中，我们将详细探讨如何在Yarn模式下安装和部署Spark集群。 首先，我们需要...
Spark源码系列（七）Sparkonyarn具体实现
01-30
本来不打算写的了，但是真的是闲来无事，整天看美剧也没啥意思。这一章打算讲一下Spark onyarn的实现，1.0.0里面...在第一章《spark-submit提交作业过程》的时候，我们讲过Sparkonyarn的在cluster模式下它的main clas
Spark on Yarn模式部署.docx
10-03
Spark on Yarn 模式部署是一种常见的 Spark 应用场景，本文将详细介绍 Spark on Yarn 模式部署的步骤和配置过程。 标题解释 Spark on Yarn 模式部署是指将 Spark 应用程序部署在 Yarn 集群上，使得 Spark 能够使用 ...
flink依赖jar包——解决NoClassDefFoundError: com/sun/jersey
01-22
当flink on yarn模式运行时，发生如下异常信息，需要将压缩包中的4个依赖jar包放入flink安装路径下的lib目录下。 Exception in thread "main" java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig at org.apache.hadoop.yarn.client.api.TimelineClient.createTimelineClient(TimelineClient.java:45) at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.serviceInit(YarnClientImpl.java:163) at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163) at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:150) at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56) ... Caused by: java.lang.ClassNotFoundException: com.sun.jersey.api.client.config.ClientConfig
Spark on Yarn集群搭建手册
08-29
Spark on Yan集群搭建的详细过程，减少集群搭建的时间
Jersey使用中遇到的问题
热门推荐
琉璃糖的博客
02-23 1万+
Jersey RESTful 框架是开源的RESTful框架, 实现了 JAX-RS 规范。它扩展了JAX-RS 参考实现， 提供了更多的特性和工具， 可以进一步地简化 RESTful service 和 client 开发。这里主要记录下在使用jersey开发中遇到的问题及解决方案，供大家参考。 报错信息：The ResourceConfig instance does not contain a
使用jersey(2.5.1)编写Java REST客户端
xiaofanku的专栏
10-04 4902
JAX-RS 客户端 API 可以用于消费暴露在 HTTP 协议上的任何 Web 服务或扩展名 (例如 WebDAV)，并不局限于使用 JAX-RS 实现的服务。然而，开发人员熟悉 JAX-RS 应该找到客户端 API 补充他们的服务，特别是如果客户端 API 利用这些服务本身，或那些服务进行测试。JAX-RS 客户端 API 熟悉泽西 1.x 客户端 API 应该找到它容易理解新的 JAX-RS 客户端 API 中介绍的所有概念在专有的泽西 1.x 客户端 API 和开发者发现灵感。
Exception in thread "main" java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientCo
www.hohode.com
02-14 6094
Spark2.0 yarn方式启动报错 https://my.oschina.net/xiaozhublog/blog/737902
Spark yarn运行时报：ClassNotFoundException:com.sun.jersey.api.client.config.ClientConfig错误
尘埃的博客
04-24 1149
在Spark yarn运行时报：java.lang.ClassNotFoundException: com.sun.jersey.api.client.config.Client 运行环境：Hadoop3.1.3和Spark2.1.1 原因分析： Spark2中jersey版本是2.22，但是yarn中还需要依赖1.9，版本不兼容导致的。 在spark的jar目录下： 在Hadoop的hadoop-3.1.3/share/hadoop/yarn/lib目录下： 解决办法如下： 在Hadoop的yarn-
spark 启动报错 ClassNotFoundException
qq_21896123的博客
05-06 3425
spark 程序启动命令如下 spark-submit --class com.test.sparkjob.order.OrderFullLoad /Users/jisen/Desktop/spark-job-1.0.jar --jars /Users/jisen/Desktop/terajdbc4.jar 启动后报错如下： 这个问题困扰我很久，在我无助时请教了小白同学，他让我试一下如下命令： spark-submit --jars jars/tlddderajdbc4.jar --class co
Spark 使用过程中遇见的问题
weixin_42130167的博客
12-18 3236
参考：https://blog.csdn.net/SCGH_Fx/article/details/72529132 ---------------------------------------------------------------------------------------------------------------------------------------------...
Spark on Yarn分布式集群搭建教程详解
本文档详细介绍了Spark On Yarn在完全分布式集群环境中的搭建过程，适用于大数据处理场景。整个搭建分为五个关键步骤： 1. **环境准备** - 软件和版本选择：文档推荐使用Java JDK 8u211、Scala 2.12.11、Zookeeper...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值