spark配置历史服务

最新推荐文章于 2024-04-27 16:09:31 发布

佳钰小甜心

最新推荐文章于 2024-04-27 16:09:31 发布

阅读量440

点赞数 2

分类专栏：笔记文章标签： hadoop spark hdfs mapreduce kafka

本文链接：https://blog.csdn.net/weixin_45401713/article/details/114838195

版权

本文指导如何配置Spark历史服务，包括修改spark-defaults.conf文件设置日志路径，更新spark-env.sh添加日志配置，确保HDFS目录存在，设置WEBUI端口和应用历史记录数，并详细说明重启集群和执行任务后的查看步骤。

摘要由CSDN通过智能技术生成

修改spark-defaults.conf.template文件名

 mv spark-defaults.conf.template spark-defaults.conf

修改spark-default.conf文件，配置日志存储路径

spark.eventLog.enabled          true
spark.eventLog.dir               hdfs://Hadoop102:8020/directory

注意：需要启动hadoop集群
（hadoop102: start-dfs.sh hadoop103: start-yarn.sh）
（后面学习配置群起脚本，之后补充笔记））
HDFS上的directory目录需要提前存在。
8020为你的master主机端口号可在Hadoop安装目录下的core.site.xml文件中查看

sbin/start-dfs.sh
hadoop fs -mkdir /directory

修改spark-env.sh文件, 添加日志配置

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.fs.logDirectory=hdfs://Hadoop102:8020/directory -Dspark.history.retainedApplications=30"