spark on yarn (Job history)的配置，主要是yarn处跳转到历史聚合页面

1.先开启服务

　　yarn，hdfs，spark

　　

1.先开启服务

　　yarn，hdfs，spark

　　

2.运行程序

　　

 

3.在yarn上无法观察history

　　

　　同时，http://linux-hadoop3.ibeifeng.com:18080 无法打开使用

　　如果点击logs将会出现下面的情况：

　　

 

4.因为没有开启服务　

　　1. MR的job History服务启动(不需要启动)
　　　　mr-jobhistory-daemon.sh start historyserver
　　　　http://hadoop-senior01:19888/jobhistory
　　2. Spark的Job History服务启动
　　　　sbin/start-history-server.sh

 

5.结果

　　

　　但是，在yarn上的history仍然不可以跳转。

 

二：解决方法

1.关闭所有的服务

　　因为需要修改spark与hadoop的配置文件

　　

 

2.修改yarn-site.xml

　　

 

3.修改spark-defaults.conf

　　

 

4.重启服务

　　

 

5.继续运行刚才的程序

　　

 

6.开始观看所有的效果（首先是18080端口）

　　

 

7.继续（yarn的8088端口的history点击）

　　yarn的8088端口

　　

　　单击后跳到这个界面（18080端口）

　　

 

 

　　

转载于:https://my.oschina.net/sniperLi/blog/1543952