关于Class org.apache.spark.network.yarn.YarnShuffleService not found的解决办法

原创 2017年11月15日 11:24:06

今天在启动Hadoop和Hbase之后,发现nodemanager节点并未启动起来,于是对Hadoop进行初始化并启动,但发现启动Hadoop的时候节点正常,但在启动hbase之后,nodemanager节点依然会挂掉。反复试验并重启虚拟机之后问题依然存在。在察看hadoop的日志错误报告后,在yarn-root-nodemanager-hy.log中找到相应报错信息:java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.spark.network.yarn.YarnShuffleService not found

在查找相应资料后,发现解决办法如下:

1.修改${HADOOP_HOME}/etc/hadoop/yarn-site.xml中关于spark的参数时候,将<value>mapreduce_shuffle</value>更换为:<value>mapreduce_shuffle,spark_shuffle</value>,并添加:

<property>

<name>yarn.nodemanager.aux-services.spark_shuffle.class</name>

<value>org.apache.spark.network.yarn.YarnShuffleService</value>

</property>

<property>
<name>spark.shuffle.service.port</name>
<value>7337</value>
</property>

2.拷贝“${SPARK_HOME}/lib/spark-2.2.0-yarn-shuffle.jar”到“${HADOOP_HOME}/share/hadoop/yarn/lib/”目录下。(注意:不是${HADOOP_HOME}下的lib目录,我在第一次复制的时候就搞错了)

3.删除{HADOOP_HOME}下的dfs、logs、tmp目录并初始化重启hadoop。问题解决


相关文章推荐

org.apache.ibatis.binding.BindingException: Parameter 'XXXX' not found.的问题解决办法

前言:出现这个问题的原因有好几个,所以我们逐步的来解释并解决问题; 1、首先,要明确一点的是,Dao层的抽象方法中的参数一般情况下默认的是一个参数或者一个对象; 例如: public interfac...

Spark运行程序异常信息: org.apache.spark.SparkException: Task not serializable 解决办法

Spark 运行程序异常信息: org.apache.spark.SparkException: Task not serializable 解决办法...

bashfdiskcommand not found 解决办法

  • 2015年08月11日 15:57
  • 856B
  • 下载

class 'org.springframework.orm.hibernate3.LocalSessionFactoryBean' not found解决办法

class 'org.springframework.orm.hibernate3.LocalSessionFactoryBean' not found解决方法 在做Spring+Struts+...
  • dmlcq
  • dmlcq
  • 2016年10月18日 19:54
  • 223

“Class Not Found Exception Spring"解决办法

Class Not Found Exception org.springframework.web.context.ContextLoaderListener 解决办法​ 刚才在群里有人问这...

Swift开发coredata出现Class not found解决办法

转载自http://blog.csdn.net/longhai0long/article/details/38379247 刚看swift开发IOS,在使用Core Data框架时遇...

class java/lang/AutoCloseable not found in *.platforms\android-19\android解决办法

上一篇博客说到了,如何更新android sdk的问题,首先说一下,我的android sdk是直接搜索百度关键词:android sdk下载搜到的下载资源,这个资源包已经集成了eclipse+adt...

Windows 平台运行spark-shell 报"java.lang.NullPointerException, not found: value sqlContext" error 解决办法

错误背景描述在spark 官网下载 spark的安装版:spark-1.6.3-bin-hadoop2.6.tgz,然后解压,配好环境变量,在window下CMD下运行spark-shell,启动sp...

解决:org.apache.ibatis.binding.BindingException: Invalid bound statement (not found):

之前有用过SSM框架,并且自己搭过,完全没问题。工作之后一直用maven,前两天在maven下搭建了一个SSM框架,但是一直报绑定失效错误,具体错误如下: org.apache.ibatis.bind...

mybatis报错org.apache.ibatis.binding.BindingException: Invalid bound statement (not found): 解决方法

错误org.apache.ibatis.binding.BindingException: Invalid bound statement (not found): com.wqh.mapper.Ar...
  • wqh8522
  • wqh8522
  • 2017年05月31日 11:46
  • 270
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:关于Class org.apache.spark.network.yarn.YarnShuffleService not found的解决办法
举报原因:
原因补充:

(最多只允许输入30个字)