Spark学习（六）高可用集群配置HistoryServer

最新推荐文章于 2024-04-27 16:09:31 发布

匿名啊啊啊

最新推荐文章于 2024-04-27 16:09:31 发布

阅读量664

点赞数 1

分类专栏： Spark

本文链接：https://blog.csdn.net/qq_41851454/article/details/80077185

版权

本文介绍了如何配置Spark的HistoryServer以实现高可用。包括常规的单节点配置步骤和高可用(HA)配置步骤，其中HA配置需在Zookeeper、HDFS和YARN运行的前提下启动HistoryServer，用户可以通过指定节点的UI来查看Spark任务的历史记录。

摘要由CSDN通过智能技术生成

为了方便管理日志，记录Spark程序运行结果，需要进行historyServer配置

1、常规单节点配置

第一步：

 cp spark-defaults.conf.template  spark-defaults.conf  
在文件里面添加如下内容：  
 spark.eventLog.enabled           true  
 spark.eventLog.dir               hdfs://hadoop06:9000/sparklog

第二步：

在spark-evn.sh 的文件里面添加如下内容：  
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://hadoop06:9000/sparklog"

第三步：

在启动HistorServer服务之前  hdfs://hadoop06:9000/sparklog  目录要提前创建

2、HA高可用配置

第一步：

cp spark-defaults.conf.template  spark-defaults.conf  
在文件里面添加如下内容：  
 spark.eventLog.enabled           true  
 spark.eventLog.dir               hdfs://myha01/sparkl