Spark2.0 yarn方式启动报错

最新推荐文章于 2023-03-21 09:53:34 发布
最新推荐文章于 2023-03-21 09:53:34 发布
阅读量403 收藏
点赞数
文章标签： 大数据 java scala
原文链接：https://my.oschina.net/xiaozhublog/blog/737902
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

背景：

升级spark

由1.5版本的spark升级至2.0版本，将编译好的2.0版本spark软件包放到指定目录下，解压替换原先1.5版本的spark

$   spark-sql --version
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.0.0
      /_/
                        
Branch
Compiled by user jenkins on 2016-07-19T21:16:08Z
Revision
Url
Type --help for more information.

​替换目录注意事项：

1、配置文件

需要替换的配置文件：

slaves  ---所有worker的节点

spark-defaults.conf  --spark启动配置文件

spark-env.sh --spark启动环境变量

log4j.properties --spark启动日志情况

hive-site.xml --hive的配置文件，此处可以直接从hive配置里拷贝一份或者直接建立软链接

$ ln -s $HIVE_HOME/conf/hive-site.xml hive-site.xml

2、软件包

重点注意：由于hive使用的元数据库为mysql，此处spark与hive共用mysql，所以需要拷贝mysql连接的jar包  mysql-connector-java-5.1.31-bin.jar

另外，1.5版本里的spark，jar包是存放在$SPARK_HOME/lib目录下的，而2.0的jar包是存放于 $SPARK_HOME/jars下的。

两种模式启动情况

1、本地模式：

$ spark-sql --master local

可以正常启动！

2、yarn模式

$ spark-sql --master yarn

 

1、报错信息


16/08/25 17:29:28 WARN ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version 1.2.0
16/08/25 17:29:28 WARN ObjectStore: Failed to get database default, returning NoSuchObjectException
Exception in thread "main" java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig
        at org.apache.hadoop.yarn.client.api.TimelineClient.createTimelineClient(TimelineClient.java:45)
        at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.serviceInit(YarnClientImpl.java:163)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:150)
        at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56)
        at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:149)
        at org.apache.spark.SparkContext.<init>(SparkContext.scala:500)
        at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2256)
        at org.apache.spark.sql.SparkSession$Builder$$anonfun$8.apply(SparkSession.scala:831)
        at org.apache.spark.sql.SparkSession$Builder$$anonfun$8.apply(SparkSession.scala:823)
        at scala.Option.getOrElse(Option.scala:121)
        at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:823)
        at org.apache.spark.sql.hive.thriftserver.SparkSQLEnv$.init(SparkSQLEnv.scala:57)
        at org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver.<init>(SparkSQLCLIDriver.scala:288)
        at org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver$.main(SparkSQLCLIDriver.scala:137)
        at org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver.main(SparkSQLCLIDriver.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:729)
        at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:185)
        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:210)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:124)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.lang.ClassNotFoundException: com.sun.jersey.api.client.config.ClientConfig
        at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
        ... 25 more

启动报错，提示找不到 jersey 的类

查看关于jersey的jar包

$ find /opt/beh/core/ |grep jersey

发现yarn的lib包下面使用的是1.9的jar，而spark下使用的是2.22.2的jar包，

/opt/beh/core/hadoop/share/hadoop/yarn/lib/jersey-client-1.9.jar
/opt/beh/core/hadoop/share/hadoop/yarn/lib/jersey-core-1.9.jar
/opt/beh/core/hadoop/share/hadoop/yarn/lib/jersey-server-1.9.jar
/opt/beh/core/hadoop/share/hadoop/yarn/lib/jersey-json-1.9.jar
/opt/beh/core/hadoop/share/hadoop/yarn/lib/jersey-guice-1.9.jar

/opt/beh/core/spark/jars/jersey-container-servlet-2.22.2.jar
/opt/beh/core/spark/jars/jersey-guava-2.22.2.jar
/opt/beh/core/spark/jars/jersey-container-servlet-core-2.22.2.jar
/opt/beh/core/spark/jars/jersey-common-2.22.2.jar
/opt/beh/core/spark/jars/jersey-server-2.22.2.jar
/opt/beh/core/spark/jars/jersey-media-jaxb-2.22.2.jar
/opt/beh/core/spark/jars/jersey-client-2.22.2.jar

 

经过多次测试验证，发现所缺的类在 jersey-core-1.9.jar 和 jersey-client-1.9.jar 两个jar包中

缺少 jersey-core-1.9.jar 的报错信息如下：

$ spark-sql --master yarn                       
16/08/25 17:42:47 WARN ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version 1.2.0
16/08/25 17:42:47 WARN ObjectStore: Failed to get database default, returning NoSuchObjectException
Exception in thread "main" java.lang.NoClassDefFoundError: com/sun/jersey/core/util/FeaturesAndProperties
        at java.lang.ClassLoader.defineClass1(Native Method)
        at java.lang.ClassLoader.defineClass(ClassLoader.java:800)
        at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
        at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
        at java.net.URLClassLoader.access$100(URLClassLoader.java:71)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
        at org.apache.hadoop.yarn.client.api.TimelineClient.createTimelineClient(TimelineClient.java:45)
        at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.serviceInit(YarnClientImpl.java:163)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:150)
        at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56)
        at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:149)
        at org.apache.spark.SparkContext.<init>(SparkContext.scala:500)
        at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2256)
        at org.apache.spark.sql.SparkSession$Builder$$anonfun$8.apply(SparkSession.scala:831)
        at org.apache.spark.sql.SparkSession$Builder$$anonfun$8.apply(SparkSession.scala:823)
        at scala.Option.getOrElse(Option.scala:121)
        at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:823)
        at org.apache.spark.sql.hive.thriftserver.SparkSQLEnv$.init(SparkSQLEnv.scala:57)
        at org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver.<init>(SparkSQLCLIDriver.scala:288)
        at org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver$.main(SparkSQLCLIDriver.scala:137)
        at org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver.main(SparkSQLCLIDriver.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:729)
        at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:185)
        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:210)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:124)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.lang.ClassNotFoundException: com.sun.jersey.core.util.FeaturesAndProperties
        at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
        ... 37 more

2、解决办法

将 jersey-core-1.9.jar 和 jersey-client-1.9.jar 这两个包拷贝到$SPARK_HOME/jars目录下，并将该目录下原本的 jersey-client-2.22.2.jar改名，yarn模式的spark就可以正常启动。

$ spark-sql --master yarn --num-executors 36
16/08/25 16:40:15 WARN ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version 1.2.0
16/08/25 16:40:15 WARN ObjectStore: Failed to get database default, returning NoSuchObjectException
16/08/25 16:40:19 WARN Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.
16/08/25 16:40:38 WARN SparkContext: Use an existing SparkContext, some configuration may not take effect.
16/08/25 16:40:38 WARN Configuration: org.apache.hadoop.hive.conf.LoopingByteArrayInputStream@493be56e:an attempt to override final parameter: hive.security.authorization.enabled;  Ignoring.
16/08/25 16:40:38 WARN Configuration: org.apache.hadoop.hive.conf.LoopingByteArrayInputStream@493be56e:an attempt to override final parameter: hive.security.authorization.task.factory;  Ignoring.
16/08/25 16:40:39 WARN Configuration: org.apache.hadoop.hive.conf.LoopingByteArrayInputStream@520f7f74:an attempt to override final parameter: hive.security.authorization.enabled;  Ignoring.
16/08/25 16:40:39 WARN Configuration: org.apache.hadoop.hive.conf.LoopingByteArrayInputStream@520f7f74:an attempt to override final parameter: hive.security.authorization.task.factory;  Ignoring.
​

spark-sql (default)> cache table dm_cljy_m_all_label_txt_ext;
16/08/25 16:40:45 WARN Utils: Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.debug.maxToStringFields' in SparkEnv.conf.
[Stage 0:====>                                                 (13 + 135) / 148]16/08/25 16:42:17 WARN DFSClient: Slow ReadProcessor read fields took 91294ms (threshold=30000ms); ack: seqno: 74 status: SUCCESS status: SUCCESS status: SUCCESS downstreamAckTimeNanos: 19355905, targets: [10.162.5.167:50010, 10.162.5.164:50010, 10.162.5.162:50010]
[Stage 0:====================================================>  (141 + 7) / 148]16/08/25 16:43:14 WARN DFSClient: Slow ReadProcessor read fields took 48494ms (threshold=30000ms); ack: seqno: 132 status: SUCCESS status: SUCCESS status: SUCCESS downstreamAckTimeNanos: 821343, targets: [10.162.5.167:50010, 10.162.5.164:50010, 10.162.5.162:50010]
Time taken: 155.439 seconds                                                     
spark-sql (default)>    select count(*) from dm_cljy_m_all_label_txt_ext;
16/08/25 16:43:59 WARN DFSClient: Slow ReadProcessor read fields took 41094ms (threshold=30000ms); ack: seqno: 149 status: SUCCESS status: SUCCESS status: SUCCESS downstreamAckTimeNanos: 418964, targets: [10.162.5.167:50010, 10.162.5.164:50010, 10.162.5.162:50010]
54966176
Time taken: 1.104 seconds, Fetched 1 row(s)


​

cache一张表，再对该表进行计算，spark真是快啊。

 

转载于:https://my.oschina.net/xiaozhublog/blog/737902

weixin_34302798
关注
spark on yarn 配置及异常解决
主要分享大数据相关的知识，如Spark、Hudi
05-09 1498
转载请务必注明原创地址为：http://dongkelun.com/2018/04/16/sparkOnYarnConf/ 前言 YARN 是在Hadoop 2.0 中引入的集群管理器，它可以让多种数据处理框架运行在一个共享的资源池上，并且通常安装在与Hadoop 文件系统（简称HDFS）相同的物理节点上。在这样配置的YARN 集群上运行Spark 是很有意义的，它可以让Spark 在存储数据...
配置hive on spark后启动报错
newhandnew413的博客
08-14 1826
因为hive底层用的执行引擎是MapReduce，所以导致了运行起来非常慢，所以我们要更换执行引擎，就有了hive on spark，基于hive的基础上将执行引擎换成spark 版本：hive 3.1.2 spark3.0.0 需要配置的信息 在spark的配置文件spark-defaults.conf中 spark.master yarn spark.eventLog.enabled true spark.e
react 项目yarn start报错（萌新踩坑）
weixin_51296870的博客
04-08 457
react 项目yarn start报错（萌新踩坑） 问题:使用 creat-react-app demo 创建react项目，运行yarn start报错。 关于包的版本问题，在此就不多做赘述了，其他大佬已经把问题整理的很全面了，写这篇帖子的主要目的是这次遇到的问题没有搜到答案，希望和我一样的萌新能少走点弯路。 ok，话不多说，上bug 问题其实很简单， 注意这里 RefreshRuntimeRefreshRuntimeRefreshRuntime = require(‘C:/Users/p’c![在/
yarn start 运行项目报错 couldn‘t find a package.json file in  “D:\ss\lawsuit
outstanding木槿
03-21 1502
解决: 解出来一层文件，运行文件路径除了问题，直接运行lawsuit文件，不要再嵌套一层ss文件了。
记录yarn启动报错
m0_72607221的博客
07-13 1633
记录前端启动项目报错
yarn start运行react项目报错
xj2wjtx的博客
12-21 711
yarn start运行react项目报错报错解决办法 报错 # # Fatal error in , line 0 # Check failed: U_SUCCESS(status). # Failed to compile. ./src/styles/style.scss (./node_modules/css-loader??ref--6-oneOf-6-1!./node_modules/postcss-loader/src??postcss!./node_modules/sass-loader/l
执行 yarn start 报错 “错误：找不到或无法加载主类 start” 或 yarn指向了jdk自带的yarn 的解决方案
CapMiachael的博客
06-28 4386
执行 yarn start 报错 “错误：找不到或无法加载主类 start” 解决方案或 yarn指向了jdk自带的yarn 解决方案 当我们执行完 npm install -g yarn 成功后， 执行yarn --version （注意：2个横杠）报错： Unrecognized option: --version Error: Could not create the Java Virtual Machine. Error: A fatal exception has occurred. Prog
《Python Spark 2.0 Hadoop机器学习与大数据实战_林大贵(著)》pdf
weixin_34119545的博客
06-17 1860
《Python+Spark 2.0+Hadoop机器学习与大数据实战》五星好评+强烈推荐的一本书，虽然内容可能没有很深入，但作者非常用心的把每一步操作详细的列出来并给出说明，让我们跟着做的时候非常有信心，没有出现奇奇怪怪的报错，没有不知道为啥就是进行不下去的情况。这本书用实例告诉你spark，hdfs的基础使用和操作方法，让你快速入门，懂得操作。后面再进行针对性的入门和进阶，就会非常顺手。非常好的...
启动Yarn 出错
weixin_41045344的博客
11-13 1333
启动 ./bin/spark-shell --master yarn-client 出错 报错信息 Warning: Master yarn-client is deprecated since 2.0. Please use master "yarn" with specified deploy mode instead. 2018-11-13 08:30:59 WARN NativeCode...
启动前段项目 yarn-start 报错hadoop_home错误
weixin_46605919的博客
03-05 451
启动前段项目 yarn-start 报错hadoop_home错误 如图 网上各种找资料 各种配置失效 了解到 hadoop运行在linux等系统，windows会出现各种错误，本地的hadoop是使用虚拟机时安装的， 解决： 改用npm start 启动项目，windows放弃使用yarn，断臂求生！！ ...
解决yarn start启动失败的问题
weixin_43886986的博客
03-05 4582
这里我使用了一个气泡按钮，确定的话就会跳转到支付页面 现在来解决按钮跳转的问题 function confirm(props) { //console.log(props.target.ownerDocument.location.pathname); props.target.ownerDocument.location.pathname = "/home" //this.props.history.push("/home") //props.history.replace("/home"
前端项目：yarn start启动项目报错的解决方法
热门推荐
luxiaopengyou的博客
05-06 1万+
平时用yarn运行项目的时候没问题，印象中也没有修改代码。然后某一天，控制台输入yarn start运行项目，报错Failed to compile： i ｢wds｣: Project is running at http://10.8.78.100/ i ｢wds｣: webpack output is served from i ｢wds｣: Content not from webpack ...
spark-shell在yarn client模式下启动报错
柠檬柒色的专栏
10-26 1625
spark-shell在yarn client模式下启动报错 17/10/26 19:16:12 ERROR cluster.YarnClientSchedulerBackend: Yarn application has already exited with state FINISHED! 17/10/26 19:16:12 ERROR client.TransportClient:
Spark on Yarn 报错
曹利荣的博客
03-12 1123
[hadoop@hadoop001 bin]$ ./spark-shell --master yarnSetting default log level to "WARN".To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).18/03/12 20:46:21 WAR...
spark在yarn上运行作业报错
xuwenzhao的博客
03-08 467
spark在yarn上运行作业报错： 原因： 在Hadoop中配置了支持LZO压缩格式，并且存储在HDFS中的文件也为LZO格式存储，而使用yarn资源调度框架来调度spark引擎进行计算时，spark并不支持读取LZO压缩格式的文件，导致报错 解决方法： 在spark中配置支持LZO格式 找到spark的conf文件夹，编辑spark-defaults.conf，添加下面两行： spark.d...
执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client
weixin_34146805的博客
04-22 484
1、执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client，错误如下所示： 18/04/22 09:28:22 ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Yarn application has already...
关于org.apache.spark.deploy.yarn.Client类
Lestat.Z.的博客
05-05 2672
关于org.apache.spark.deploy.yarn.Client类前言主要方法submitApplicationcreateApplicationSubmissionContextsetupSecurityTokengetApplicationReportgetClientTokenverifyClusterResourcescopyFileToRemoteprepareLocalRes...
spark&yarn两种运行模式(2)
moonbis的博客
03-13 816
两种模式的原理: cluster模式： Spark Driver首先作为一个ApplicationMaster在YARN集群中启动，客户端提交给ResourceManager的每一个job都会在集群的NodeManager节点上分配一个唯一的ApplicationMaster，由该ApplicationMaster管理全生命周期的应用。具体过程： 由client向ResourceMa...
hbase : Slow ReadProcessor read fields
数据之美的博客
11-28 7953
在测试时，经常会看到hbase日志里有报DFSClient Slow ReadProcessor read fields的消息。 2018-11-28 18:20:34,394 WARN org.apache.hadoop.hdfs.DFSClient: Slow ReadProcessor read fields took 31274ms (threshold=30000ms); ack: ...
spark2.0与spark3.0中的yarn模式差异
最新发布
04-03
在Spark 2.0和Spark 3.0中，Yarn模式的一些差异如下所示[^1]： 1. Spark 2.0中的Yarn模式有两种选择：yarn-client和yarn-cluster。而在Spark 3.0中，yarn-client模式已被弃用，只保留了yarn-cluster模式。 2. 在Spark 2.0中，yarn-client模式是将Spark客户端直接连接到Yarn，不需要额外构建Spark集群。而在Spark 3.0中，只有yarn-cluster模式可用，需要通过提交Spark应用程序到Yarn集群来运行。 3. 在Spark 2.0中，yarn-client模式适用于交互式工作负载，因为它允许Spark应用程序直接与驱动程序进行交互。而在Spark 3.0中，由于只有yarn-cluster模式可用，交互式工作负载需要通过Spark的交互式会话（如Spark Shell或Spark SQL）来实现。 4. 在Spark 3.0中引入了动态分区修剪（Dynamic Partition Pruning）的新特性[^2]。这个特性可以在执行查询时根据查询条件动态地剪枝分区，从而提高查询性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值