关于Class org.apache.spark.network.yarn.YarnShuffleService not found的解决办法

原创 2017年11月15日 11:24:06

今天在启动Hadoop和Hbase之后,发现nodemanager节点并未启动起来,于是对Hadoop进行初始化并启动,但发现启动Hadoop的时候节点正常,但在启动hbase之后,nodemanager节点依然会挂掉。反复试验并重启虚拟机之后问题依然存在。在察看hadoop的日志错误报告后,在yarn-root-nodemanager-hy.log中找到相应报错信息:java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.spark.network.yarn.YarnShuffleService not found

在查找相应资料后,发现解决办法如下:

1.修改${HADOOP_HOME}/etc/hadoop/yarn-site.xml中关于spark的参数时候,将<value>mapreduce_shuffle</value>更换为:<value>mapreduce_shuffle,spark_shuffle</value>,并添加:

<property>

<name>yarn.nodemanager.aux-services.spark_shuffle.class</name>

<value>org.apache.spark.network.yarn.YarnShuffleService</value>

</property>

<property>
<name>spark.shuffle.service.port</name>
<value>7337</value>
</property>

2.拷贝“${SPARK_HOME}/lib/spark-2.2.0-yarn-shuffle.jar”到“${HADOOP_HOME}/share/hadoop/yarn/lib/”目录下。(注意:不是${HADOOP_HOME}下的lib目录,我在第一次复制的时候就搞错了)

3.删除{HADOOP_HOME}下的dfs、logs、tmp目录并初始化重启hadoop。问题解决


spark on yarn运行产生缺jar包错误及解决办法

spark在很多时候由于配置的原因造成缺少jar包的情况,本文介绍了两种缺少jar包情况,并介绍了如何使用spark-submit的--jars和--driver-class-path参数将jar包动...
  • mach_learn
  • mach_learn
  • 2014年12月09日 15:42
  • 5717

nodemanager报错 spark.network.yarn.YarnShuffleService not found

HDP2.4版本 安装启动后nodemanager报错,无法启动,查看日志发现, 2016-03-11 10:51:23,638 FATAL nodemanager.NodeManager (No...
  • levy_cui
  • levy_cui
  • 2016年04月13日 14:30
  • 1648

Spark学习笔记之-Spark on yarn(External Shuffle Service)

Spark系统在运行含shuffle过程的应用时,Executor进程除了运行task,还要负责写shuffle 数据,给其他Executor提供shuffle数据。     当Executor进程...
  • dandykang
  • dandykang
  • 2015年09月01日 17:36
  • 3960

已解决:登录Linux后好多命令不能用,如使用service会报错service command not found

su 或者 su root:的话只是将当前身份转为root,用户shell并没有改变.所以有些系统命令不能使用. su -或者su -l或者su -l root,可以完全的将当前环境转为root环...
  • lizexingSpark
  • lizexingSpark
  • 2016年12月18日 14:25
  • 3149

关于Class org.apache.spark.network.yarn.YarnShuffleService not found的解决办法

java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org....
  • Hiwes
  • Hiwes
  • 2017年11月15日 11:24
  • 74

Spark学习笔记之-Spark on yarn(External Shuffle Service)

Spark系统在运行含shuffle过程的应用时,Executor进程除了运行task,还要负责写shuffle 数据,给其他Executor提供shuffle数据。     当Executor...
  • u010670689
  • u010670689
  • 2017年02月23日 18:14
  • 716

关于class not found的解决办法

java.lang.NoClassDefFoundError一般是指在引用的类在当前项目的lib中不存在,这样就会出现这样的错误。这样的错误解决的难度就在于如何确实所在的包,然后找到相应的jar文件。...
  • csh602583095
  • csh602583095
  • 2014年06月17日 01:01
  • 1385

class org.apache.commons.dbcp.basicdatasource not found解决办法

第一次碰到ssh,在按照网上的教程以后,出现了一个问题,错误是class org.apache.commons.dbcp.basicdatasource not found,按照一般来说是导入包的问题...
  • u010211479
  • u010211479
  • 2016年04月11日 13:32
  • 2049

spark on yarn启用动态分配

spark on yarn 支持资源的动态分配。           资源请求策略:     一个spark程序使用轮询来请求资源。具体过程如下: 1.如果程序中有任务在等待,超过spark.dyna...
  • zhoudetiankong
  • zhoudetiankong
  • 2015年12月14日 15:37
  • 1944

spark on yarn

说明这篇文章记录下 spark提交左右在yarn上运行hadoop配置主要配置yarn-site.xml文件,我们目前使用mapreduce_shuffle,而有些公司也增加了spark_shuffl...
  • stark_summer
  • stark_summer
  • 2015年09月22日 20:55
  • 26143
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:关于Class org.apache.spark.network.yarn.YarnShuffleService not found的解决办法
举报原因:
原因补充:

(最多只允许输入30个字)