spark on yarn报错java.lang.ClassNotFoundException: com.sun.jersey.api.client.config.Client

最新推荐文章于 2024-08-29 18:42:50 发布

爽儿歪歪歪

最新推荐文章于 2024-08-29 18:42:50 发布

阅读量1.2w

点赞数 1

分类专栏：运维 linux 文章标签： spark hadoop yarn

本文链接：https://blog.csdn.net/sinat_36059653/article/details/78750076

版权

在Hadoop 2.7.4和Spark 2.1.0环境下，配置并启动Spark History Server和YARN Timeline Server后，尝试使用`spark-submit`命令提交应用程序时遇到错误。错误提示缺少`com.sun.jersey.api.client.config.ClientConfig`类。检查发现SPARK_HOME/jars目录下的jersey包为2.22.2版本，该版本中不存在此类。进一步研究发现，该类在jersey 1.9版本中存在，说明在jersey更高版本中已移除。问题可能源于jersey版本不匹配。

摘要由CSDN通过智能技术生成

环境：

hadoop2.7.4
spark2.1.0

配置完spark-historyserver和yarn-timelineserver后，启动的时候没有报错，但是在spark用
./spark-submit –class org.apache.spark.examples.SparkPi
–master yarn
–num-executors 3
–driver-memory 1g
–executor-cores 1
/opt/spark-2.1.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.1.0.jar 20
命令提交application的时候，报了如下错误

[root@node-2 bin]# ./spark-submit --class org.apache.spark.examples.SparkPi --master yarn --num-executors 3 --driver-memory 1g --executor-cores 1 /opt/spark-2.1.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.1.0.jar 20
17/12/08 02:01:37 INFO SparkContext: Running Spark version 2.1.0
17/12/08 02:01:38 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/12/08 02:01:38 INFO SecurityManager: Changing view acls to: root
17/12/08 02:01:38 INFO SecurityManager: Changing modify acls to: root
17/12/08 02:01:38 INFO SecurityManager: Changing view acls groups to: 
17/12/08 02:01:38 INFO SecurityManager: Changing modify acls groups to: 
17/12/08 02:01:38 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users  with view permissions: Set(root); groups with view permissions: Set();<