「解决」spark on yarn上遇到的一个问题

最新推荐文章于 2023-03-07 14:19:21 发布

裘千仞不会水上漂

最新推荐文章于 2023-03-07 14:19:21 发布

阅读量6k

点赞数 1

分类专栏：分布式计算的学习之路

本文链接：https://blog.csdn.net/xtfge0915/article/details/52456516

版权

分布式计算的学习之路专栏收录该内容

13 篇文章 1 订阅

订阅专栏

昨天在yarn上提交spark任务一直出现一个错误

INFO org.apache.hadoop.ipc.Client: Retrying connect to server: master/172.16.50
.131:9000. Already tried 0 time(s).

网上查了半天说是看看yarn启动是否成功，我这才想起我忘启动yarn，说这个的意思是出现这种错误的原因就是yarn没有正常运行，像我一样忘记启动的可能不多，所以你们应该检查你们启动的时候有没有出错，先看主节点有没有resourceManager进程，从节点有没有nodeManager进程，如果有还是出错，再查看日志，看看启动过程中是否出错。这个问题在正确启动yarn之后就解决了，但是我又遇到一个新的问题

yarn.Client: Application report for application_1427763283312_0001 (state: ACCEPTED)
15/03/31 09:00:46 INFO yarn.Client: Application report for application_1427763283312_0001 (state: ACCEPTED)
15/03/31 09:00:47 INFO yarn.Client: Application report for application_1427763283312_0001 (state: ACCEPTED)

spark在提交时状态一直停留在ACCEPTED，这个问题在网上有一个普遍接受的答案
在spark-env.sh中添加

export SPARK_YARN_USER_ENV="CLASSPATH=hadoop/etc/hadoop"

但遗憾的是这个方法并没有解决我的问题，折腾了半天问题还是解决了
原因在java的版本问题，我用的是spark 1.6.0，刚开始装的是jdk8,后来我想着我们只需要一个运行环境，就装了个jre7，发现也不行，最终装jdk7问题完美解决，其它版本的没试过，不过你们在遇到这个问题死活都不能解决的情况下可以尝试换个jdk