Spark on Yarn History WebUI

Spark on Yarn History WebUI

1配置spark-defaults.conf文件 

 

spark.eventLog.enabled  true

#是否记录Spark事件，用于应用程序在完成后重构webUI  默认值:false

spark.eventLog.compress  true

#是否压缩记录Spark事件，前提spark.eventLog.enabled为true，默认使用的是snappy

spark.eventLog.dir hdfs://localhost:9000/directory

#日志保存的路径(我的hadoop配置中的core-site.xml中的fs.default.name为hdfs://localhost:9000)，需要在hdfs上建立对应的文件夹，执行hadoop fs –mkdir /directory

spark.yarn.historyServer.address  127.0.0.1:18080

#将127.0.0.1:18080（Spark history server的地址不要加http://）这个链接交给Hadoop监测界面中的”TarckingUI”,如图所示。