在IDEA环境下，通过代码配置Spark历史服务器

qq_40135006

已于 2023-12-03 16:46:02 修改

阅读量712

点赞数 1

文章标签： spark 大数据 java intellij-idea

于 2023-09-28 10:11:12 首次发布

本文链接：https://blog.csdn.net/qq_40135006/article/details/133377139

版权

一、spark镜像地址
官方（版本全）
http://archive.apache.org/dist/spark/
在这里插入图片描述

国内（只有部分版本）
https://mirrors.tuna.tsinghua.edu.cn/apache/spark/
https://mirrors.bfsu.edu.cn/apache/spark/

二、配置历史服务器
在spark-3.1.1-bin-hadoop2.7/conf/spark-defaults.conf添加以下配置，其中d:/log/spark为日志保存位置

spark.eventLog.enabled           true
spark.eventLog.dir file:///d:/log/spark
spark.eventLog.compress true
spark.history.fs.logDirectory file:///d:/log/spark

使用命令启动历史服务器，可以看到启动的端口号，通过 http://localhost:端口号访问历史服务器
Spark-class org.apache.spark.deploy.history.HistoryServer

在scala代码中的SparkSession添加以下配置

.config("spark.eventLog.enabled", value = true)
.config("spark.eventLog.dir", "file:///D:/log/spark")
.config("spark.history.fs.logDirectory", "file:///D:/log/spark")