本地启spark history server,spark.history.fs.logDirectory除了可以设置为hdfs远程目录外,还可以设置为本地路径,如:
./start-history-server.sh file:///home/merrily01/scripts/logs/tmp_log/
这样直接把lz4文件放到上述本地路径下即可解析加载,无需获取lz4后再上传至指定hdfs路径,更方便快捷。
测试,上述方式在3.0的spark使用的时候可能会遇到问题?
所以还有如下方式:
通过参数配置方式,修改日志文件存储路径:
在spark包的conf目录下,同样使用spark-defaults.conf配置文件,通过:
spark.history.fs.logDirectory /home/prodadmin/merrily01/tmp/history_log
然后,直接通过./start-history-server.sh 启动服务即可。