十：WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set,解决案例

最新推荐文章于 2024-07-17 12:19:49 发布
最新推荐文章于 2024-07-17 12:19:49 发布
阅读量7.3k 收藏 7
点赞数
分类专栏： 实操 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weizhonggui/article/details/85240804
版权

一：问题现象：

在spark on yarn 提交任务是，提示如下：

WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.

INFO yarn.Client: Uploading resource file:/tmp/spark-27a2d9ca-106c-4f4a-baff-c96ef5081c51/__spark_libs__808575299793112451.zip -> hdfs://weizhonggui/user/hadoop/.sparkStaging/application_1543886353459_0001/__spark_libs__808575299793112451.zip
18/12/24 23:32:36 INFO yarn.Client: Uploading resource file:/tmp/spark-27a2d9ca-106c-4f4a-baff-c96ef5081c51/__spark_conf__4031622468796062240.zip -> hdfs://weizhonggui/user/hadoop/.sparkStaging/application_1543886353459_0001/spark_conf.zip

在这里插入图片描述

二：原因分析：

在[

最低0.47元/天 解锁文章
魏忠贵
关注
专栏目录
spark on yarn 配置及异常解决
主要分享大数据相关的知识，如Spark、Hudi
05-08 1104
转载请务必注明原创地址为：http://dongkelun.com/2018/04/16/sparkOnYarnConf/ 前言 YARN 是在Hadoop 2.0 中引入的集群管理器，它可以让多种数据处理框架运行在一个共享的资源池上，并且通常安装在与Hadoop 文件系统（简称HDFS）相同的物理节点上。在这样配置的YARN 集群上运行Spark 是很有意义的，它可以让Spark 在存储数据...
yarn集群下启动spark错误WARN:66 - Neither spark.yarn.jars nor spark.yarn.archive is set
qq_39954916的博客
09-26 1460
yarn集群下启动spark错误如下： WARN Client:66 - Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME. 解决办法 　　在hdfs上创建目录： hdfs dfs -mkdir -p /home/hadoop/spark_jars 上传spark的jars hdfs dfs -put /opt/mod...
运行Spark任务时解决WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set
最新发布
weixin_56130021的博客
07-17 358
2) 修改/opt/installs/spark/conf/spark-defaults.conf文件 spark.yarn.jars=hdfs://hadoop10:8020/spark-yarn/jars/*.jar。3）在spark-default.conf中设置 spark.yarn.archive=hdfs://hadoop10:8020/system/SparkJars/jar/spark-libs.jar。该方法同时可以对Spark任务进行调优。下面配置解决上述警告。
WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading l
AaronLwx的博客
05-15 5362
19/05/15 11:29:42 WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME. 19/05/15 11:29:42 WARN yarn.Client: Neither spark.yar...
Neither spark.yarn.jars nor spark.yarn.archive is set
微电子学与固体电子学-俞驰
04-26 910
完整报错如下: (Python3.6) appleyuchi@Desktop:target$ spark-submit --class WordCountLocal --master yarn --deploy-mode cluster --driver-memory 1g --executor-memory 1g --executor-cores 1 /home/appleyuchi/Id...
yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set
赴前尘
11-02 326
1.hdfs dfs -mkdir /spark_jars 2.hdfs dfs -put /usr/local/spark-2.2.1/examples/jars/spark-examples_2.11-2.2.1.jar /spark_jars 3.cp spark-defaults.conf.template spark-defaults.conf 4.sud...
spark.yarn.archive spark.yarn.jars 的设置
naruto00001的专栏
03-16 7189
为什么要设置呢？摘自Spark-2.3.0官方文档 http://spark.apache.org/docs/latest/running-on-yarn.html#preparations（个人理解：spark运行所需的jar包，不设置的话每次运行就需要上传到yarn管理的各个节点的缓存，很麻烦很影响性能。如果设置了，比如说放在HDFS上，就不需要每次都上传而是从HDFS上读取，能快那么一点点…...
spark在yarn上运行遇见的错误
安纳西丶小雨的博客
06-20 1747
Spark代码运行出错 19/06/19 22:29:26 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 19/06/19 22:29:30 INFO yarn.Client: Requ...
spark-submit --master yarn 需要增加的配置WARN Client: Neither spark.yarn.jars nor spark.yarn.archive is set
yao09605的博客
01-14 323
$ jar -cv0f spark-libs.jar -C $SPARK_HOME/jars/ . $ dfs -mkdir /system $ dfs -mkdir /system/SparkJars $ dfs -mkdir /system/SparkJars/jar $ hdfs dfs -put spark-libs.jar /system/SparkJars/jar
spark运行时出现Neither spark.yarn.jars nor spark.yarn.archive is set错误的解决办法（图文详解）...
weixin_30896763的博客
09-29 580
　　不多说，直接上干货！ 福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号：大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 ...
用spark-submit将py提交到yarn时警告Neither spark.yarn.jars nor spark.yarn.archive is set
m0_63500252的博客
05-06 361
意思是spark无法找到要在YARN集群上执行任务所需的JAR包或归档文件。它会尝试从SPARK_HOME目录上传所需的库文件，所以会卡在这里一段时间。意思是将$SPARK_HOME/jars/里的文件全部打包为当前目录的spark-libs.jar。然后再到$SPARK_HOME/conf/spark-env.sh中添加。到SPARK_HOME中找到jars文件夹，将它们打包。用spark-submit将py提交到yarn时警告。然后将其上传到hdfs中，先自己创建好目录。
Spark On Yarn报警告信息 WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling ...
01-28 448
1 贴出完整日志信息 /01/28 03:57:58 INFO client.RMProxy: Connecting to ResourceManager at hdp1/192.168.56.201:8032 19/01/28 03:57:58 INFO yarn.Client: Requesting a new application from cluster with 3 ...
Spark警告Neither spark.yarn.jars nor spark.yarn.archive is set
a8131357leo的博客
06-17 745
同理问题 https://blog.csdn.net/a8131357leo/article/details/100774694?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522159232809119724846413808%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=15923280911972484641
spark：neither spark.yarn.jars not spark.yarn.archive is set
weixin_30781107的博客
10-18 410
1.Spark启动警告：neither spark.yarn.jars not spark.yarn.archive is set，falling back to uploading libraries under SPARK_HOME 原因： 如果没设置spark.yarn.jars，每次提交到yarn，都会把$SPARK_HOME/jars打包成zip文件上传到HDFS对应的用户目录。而sp...
WARN spark.yarn.jars falling back to uploading
woods的博客
05-11 626
spark yarn模式的任务在启动时会出现如下警告，表示需要上传本地的spark jar包到hdfs上，这一步肯能非常耗时。 WARN Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME 解决办法就是提前收到上传sp...
Spark执行样例报警告：WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any
06-11
worker offers yet. 这个警告信息表明，Spark调度程序还没有将任何任务分配给可用的工作节点。这可能是由于以下原因之一造成的： 1. 没有足够的可用资源来执行任务，例如CPU、内存、磁盘空间等。 2. Spark调度程序正在等待工作节点的状态更新，以便判断哪些节点是可用的。 3. 在启动Spark作业时，可能会出现配置错误或网络问题，导致Spark无法与工作节点通信。 为了解决这个问题，你可以尝试以下几种方法： 1. 首先检查你的集群配置和资源分配是否正确，确保有足够的可用资源来执行任务。 2. 如果你的工作节点数量较少，你可以尝试增加节点数量。 3. 确保你的网络环境正常，并且所有节点都可以相互通信。 4. 检查日志文件，查看是否有其他错误或警告信息。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值