Spark运行环境
1. 配置历史服务
1.1 简介
- 由于spark-shell停止掉后,集群监控hadoop-001:4040页面就看不到历史任务的运行情况,所以开发时都配置历史服务器记录任务运行情况。
1.2 如何配置
1) 修改spark-defaults.conf.template文件名为spark-defaults.conf
mv spark-defaults.conf.template spark-defaults.conf
2) 修改spark-default.conf文件,配置日志存储路径
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop-001:9820/directory
注意:需要启动hadoop集群,HDFS上的directory目录需要提前存在。
sbin/start-dfs.sh
hadoop fs -mkdir /directory
3) 修改spark-env.sh文件, 添加日志配置
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://hadoop-001:9820/directory
-Dspark.history.retainedApplications=30"
- 参数1含义:WEB UI访问的端口号为18080
- 参数2含义:指定历史服务器日志存储路径
- 参数3含义:指定保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,这个是内存中的应用数,而不是页面上显示的应用数。
4) 分发配置文件
5) 重新启动集群和历史服务
sbin/start-all.sh
sbin/start-history-server.sh
6) 重新执行任务
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop-001:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tUOToD7o-1655395863357)(assets/clip_image002.jpg)]
<