Spark on Yarn ExecutorLauncher 异常解决

0. 保证Hadoop集群正常启动，Spark集群正常启动；有问题请百度

1. Spark运行在yarn集群命令：spark-shell --master=yarn --deploy-mode=client

2. 出现异常

3.点击 application_1545547093570_0001  链接

4. 点击有内容的日志文件

5. 查看异常信息

6. 找不到指定的类，缺少spark的jar包，解决办法

6.1 在hadoop集群创建文件夹： hadoop fs -mkdir /user/root/spark_jars

6.2 把spark的jar包上传到HDFS: hdfs dfs -put /usr/local/bigdata/spark-2.1/jars/* /user/root/spark_jars

6.3 修改配置文件： vim /usr/local/bigdata/spark-2.1/conf/spark-defaults.conf，如果没有spark-defaults.conf把spark-defaults.conf.template复制一份即可。

6.4 添加如下一行：spark.yarn.jars=hdfs://master:9000/user/root/spark_jars/*

注意hdfs://master:9000是HDFS的主机和端口号，自己根据情况修改，

6.5 配置文件如图所示：

6.6 重启启动：spark-shell --master=yarn --deploy-mode=client

 

看到如图的命令提示符，启动成功；有问题留言。