018 spark on yarn (Job history)的配置，主要是yarn处跳转到历史聚合页面

一：目标

1.目标

　　在yarn的8080页面可以跳转到spark的日志18080页面。

　　因为在运行spark之后，看对应的job的日志，这样直接连接，更合理直接。

 

2.总结

　　在后面可以看到，其实不需要启动mr-history的。

　　因为这个是手机mapreduce的日志的，同时，只要8088的页面，在这个页面点history朝着18080跳转即可。

 

二：操作步骤

1.先开启服务

　　yarn，hdfs，spark

　　

 

2.运行程序

　　

 

3.在yarn上无法观察history

　　

 

4.因为没有开启服务　

　　1. MR的job History服务启动(不需要启动)
　　　　mr-jobhistory-daemon.sh start historyserver
　　　　http://hadoop-senior01:19888/jobhistory
　　2. Spark的Job History服务启动
　　　　sbin/start-history-server.sh

 

5.结果

　　可以看18080端口。

　　

　　但是，在yarn上的history仍然不可以跳转到spark的日志页面。

 

二：解决方法

1.关闭所有的服务

　　因为需要修改spark与hadoop的配置文件

　　

 

2.修改yarn-site.xml

　　其中，enable已经在MR的yarn中被配置过。

　　只要配置一下url。

　　

 

3.修改spark-defaults.conf

　　eventLog.dir的作用的聚合作用。

　　在spark-default-site.xml中的配置是展示的作用，展示的文件夹与端口号。

　　

 

4.重启服务

　　启动yarn，然后spark的history。

　　

 

5.继续运行刚才的程序

　　

 

6.开始观看所有的效果（首先是18080端口）

　　

 

7.继续（yarn的8088端口的history点击）

　　yarn的8088端口

　　

　　单击后跳到这个界面（18080端口）