一、增加配置
1、spark-1.3.0-bin-2.5.0-cdh5.3.6/conf 目录下 spark-env.sh 文件修改;
设置log文件放在 hdfs目录 /user/spark/eventlogs
SPARK_HISTORY_OPTS=-Dspark.history.fs.logDirectory=hdfs://hadoop-senior.ibeifeng.com:8020/user/spark/eventlogs/
2、spark-1.3.0-bin-2.5.0-cdh5.3.6/conf 目录下 spark-defaults.conf 文件修改;
启动记录log日志;
设置log文件放在 hdfs目录 /user/spark/eventlogs;
日志采用压缩;
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop-senior.ibeifeng.com:8020/user/spark/eventlogs/
spark.eventLog.compress true
3、启动 HistoryServer 监控
sbin/start-history-server.sh
注意:只有应用停止后,才能看到日志;
二、使用 HistoryServer 监控应用
1、启动spark-shell