前言
分析spark job 日志
下载
# 快捷获取
wget https://dlcdn.apache.org/spark/spark-3.2.1/spark-3.2.1-bin-hadoop3.2.tgz
使用
cd spark-3.2.1-bin-hadoop3.2/sbin
# 新增配置文件
vim local-history.properties
spark.history.fs.logDirectory=/Users/nan.luo/Downloads/job_2022_04_23_14_48_25/job_history
# 启动history server
./start-history-server.sh --properties-file local-history.properties