spark on yarn的两个warning

最新推荐文章于 2021-05-20 20:07:49 发布

14yhuang

最新推荐文章于 2021-05-20 20:07:49 发布

阅读量282

点赞数

分类专栏：大数据知识文章标签： spark on yarn

本文链接：https://blog.csdn.net/qq_36459386/article/details/85631988

版权

博客内容涉及在Spark on YARN运行时遇到的两个警告。警告一是由于找不到libhadoop.so，解决方法是在环境变量JAVA_LIBRARY_PATH和SPARK_ENV_SH的LD_LIBRARY_PATH中添加libhadoop.so的路径。警告二是关于Spark在YARN上提交作业时缺少jar指定，解决方案是创建HDFS目录并指明spark.yarn.archive或spark.yarn.jars。

摘要由CSDN通过智能技术生成

文章目录

警告1
警告2

警告1

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

具体原因是从java.library.path处没有找到libhadoop.so,我们发现,libhadoop.so是存放在/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/lib/native下的。

在这里插入图片描述在hadoop包中搜索发现,java.library.path被定义为$JAVA_LIBRARY_PATH

vim  ~/.bash_profile
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native

1.在环境变量中增加 JAVA_LIBRARY_PATH 指向/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/lib/native 即可

vim $SPARK_HOME/conf/spark-env.sh 
export LD_LIBRARY_PATH=$JAVA_LIBRARY_PATH

2.重启hdfs没有问题,但是在sparkonyarn 提交作业的时候,还是存在
这里需要在 $SPARK_HOME/conf/spark-env.sh 增加

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

14yhuang

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Hive on Spark on Yarn

一名假的程序猿

08-16

3479

参考 https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started https://cwiki.apache.org/confluence/display/Hive/...

Spark on Yarn 自定义日志打印及级别

T_Janey

09-16

3093

Spark on Yarn自定义日志输出及级别spark 自定义日志打印及级别日志打印定义 spark 自定义日志打印及级别在处理spark任务的时候，我们需要经常查看日志，那么日志的级别对我们来说就很重要。但有时候，我们还需要输出一些业务日志，那它就会被spark的大量日志给覆盖掉，但调日志级别，又会使查找问题变的比较困难，今天，我们来解决下这个问题。日志打印定义我们首先需要日志配置文件，并在任务提交的脚本中设置成我们自定义的日志文件。这里将分别对两种日志进行配置对比，分别是java自带日志和spa

参与评论您还未登录，请先登录后发表或查看评论

Spark On Yarn报警告信息 WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling ...

01-28

455

1 贴出完整日志信息 /01/28 03:57:58 INFO client.RMProxy: Connecting to ResourceManager at hdp1/192.168.56.201:8032 19/01/28 03:57:58 INFO yarn.Client: Requesting a new application from cluster with 3 ...

spark 报：Warning: Master endpoint spark://ip:7077 was not a REST server. Falling back t

NOT_GUY的博客

05-20

1276

在利用spark以cluster方式提交application时会发现这个警告：Warning:Masterendpointspark://ip:7077wasnotaREST server.Fallingbacktolegacysubmissiongatewayinstead. 提交方式：spark-submit --master spark://ip:port --deploy-mode client(cluster) 原因：端口问题，解决方式：spark以clien...

完美解决WARNING: YARN_LOG_DIR has been replaced by HADOOP_LOG_DIR. Using value of YARN_LOG_DIR.

qq_45773650的博客

07-20

4082

如上述清理，启动正常，就是报警告，看着心里痒痒的。解决方案：主要是/etc/profile里文件的错误，用命令：vim /etc/profile ,之后把报错的所在一行名字注销了，如我的YARN_LOG_DIR,如图之后source /etc/profile，是文件立即生效，注意从机不要忘记操作，每一个都需要这样做，之后重新启动，命令： start-all.sh 就ok了若是还报错，就没有虚拟操作系统都重启一下，我的就是这样好的。 ...

Spark on yarn 警告消除

weixin_43267534的博客

03-12

274

1.导读从spark官网中我们可看到spark running-on-yarn 上的话只需要将master指定为yarn即可, 但是在on yarn的时候,有可能会报出如下两处警告警告一: 18/12/25 00:34:51 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... usin...

hadoop分布式集群&spark on yarn集群安装配置

zld_555的博客

09-28

906

hadoop&spark on yarn安装配置一环境准备 3台 linux版本centos7.6 hadoop版本3.1.2 spark版本2.4.4 1.1 修改IP vim /etc/sysconfig/network-scripts/ifcfg-ens32 DEVICE="ens32" ONBOOT="yes" IPADDR="192.168.22.232" PREFIX=...

【源码分析】Spark on Yarn应用提交流程

初心江湖路的博客

09-21

428

本文直接从SparkSubmit说起，脚本提交过程在之前的《spark-submit脚本执行过程》文章中已经说明。一、主要过程概括 1、执行org.apache.spark.deploy.SparkSubmit的main方法提交。 2、运行yarn客户端的run方法。 3、向ResourceManager提交application请求container用来运行ApplicationMaster...

消除spark on yarn的两处警告

weixin_40420525的博客

12-25

523

MacOS 10下 Spark启动：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform

两岸猿声啼不住，零一已过万重山

08-22

452

鉴于网上讲的各种版本特别多，尝试许久都不正确。以下为亲测有效的版本环境介绍操作系统：MacOS 10.14.6 Spark版本：2.4.3 Hadoop版本：2.2.1 引发问题原因：本人的原因是由于没有本地32位编译好的Hadoop包导致的，具体可以自行修改hadoop目录下hadoop-env.sh修改日志输出，添加参数`export HADOOP_ROOT_LOGGER=DEB...

yarn 常见错误

niit_09的专栏

08-06

3019

1. Application application_1406781725029_0125 failed 2 times due to AM Container for appattempt_1406781725029_0125_000002 exited with exitCode: 1 due to: Exception from container-launch: org.apache.h

Spark使用总结与分享

weixin_34245169的博客

04-05

217

背景使用spark开发已有几个月。相比于python/hive，scala/spark学习门槛较高。尤其记得刚开时，举步维艰，进展十分缓慢。不过谢天谢地，这段苦涩（bi）的日子过去了。忆苦思甜，为了避免项目组的其他同学走弯路，决定总结和梳理spark的使用经验。 Spark基础基石RDD spark的核心是RDD（弹性分布式数据集），一种...

spark-shell --master yarn-client(异常已经解决)

程裕强的专栏

04-09

3万+

[root@node1 ~]# spark-shell --master yarn-client Warning: Master yarn-client is deprecated since 2.0. Please use master "yarn" with specified deploy mode instead. Using Spark's default log4j profile: o

运行spark-shell 出现警告处理

gozzo的专栏

07-16

1188

[root@master spark-2.3.3]# bin/spark-shell SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/software/spark-2.3.3/jars/slf4j-log4j12-1.7.16.jar!/org/slf4j/imp...

native-hadoop library本地库不一致解决: WARN util.NativeCodeLoader: Unable to load native-hadoop library

Vovis的博客

11-30

1811

[blackcat@dqg5adslog1 bin]$ ./hdfs dfs -du / 16/11/30 17:54:51 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 86099

Hadoop之—— WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...