配置 Spark HistoryServer

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_1018944104/article/details/85170496

第一步:

cd /home/hadoop/apps/spark-2.3.0-bin-hadoop2.7/conf
cp spark-defaults.conf.template spark-defaults.conf
在文件里面添加如下内容:
spark.eventLog.enabled     true
spark.eventLog.dir     hdfs://myha01/ssparklog

 第二步:

在 spark-evn.sh 的文件里面添加如下内容:
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://myha01/sparklog"

第三步:

在启动 HistorServer 服务之前 hdfs://myha01/sparklog 目录要提前创建
hadoop fs -mkdir -p hdfs://myha01/sparklog

第四步:

启动 Spark HistoryServer
[hadoop@hadoop02 ~] $SPARK_HOME/sbin/start-history-server.sh

第五步:

访问 Spark History WebUI:http://hadoop02:18080/

展开阅读全文

没有更多推荐了,返回首页