昨天,在执行spark-sql时,查询数据量超过1000万行,数据量大小7.6G,出现系统盘占用突然变高的情况,Job任务在运行过程中产生大量的临时目录位置,导致某个分区磁盘写满,主要原因spark运行产生临时目录的默认路径/tmp/spark检查为 /tmp 目录下,spark生成的临时目录占用了大量的硬盘空间,生成的spark临时文件总共超过19了。
解决方案为:
1、删除 /tmp/spark* 的文件
rm -rf /tmp/spark*
2、修改spark执行时临时目录的配置,在 conf 目录下的spark-defaults.conf的配置文件,增加如下一行:
spark.local.dir /diskb/sparktmp,/diskc/sparktmp,/diskd/sparktmp,/diske/sparktmp,/diskf/sparktmp,/diskg/sparktmp
说明:可配置多个目录,以 “,” 分隔。
3、也配置spark-env.sh下增加
export SPARK_LOCAL_DIRS=spark.local.dir /diskb/sparktmp,/diskc/sparktmp,/diskd/sparktmp,/diske/sparktmp,/diskf/sparktmp,/diskg/sparktmp
如果spark-env.sh与spark-defaults.conf都配置,则SPARK_LOCAL_DIRS覆盖spark.local.dir 的配置
下面是实际操作记录分享
1、项目运维需求
线上的Spark的集群相关/tmp/spark-* 日志会把 /分区磁盘写满,建议优化应用程序或更改日志路径到/home/ 子目录下
2、解决方案
2.1 方案1(不建议使用)
可以通过crontab 定时执行rm -rf /tmp/spark*命令,缺点:当spark的任务执行,这个时候会生成/tmp/spark* 的临时文件,正好在这个时候
crontab 启动rm命令,从而导致文件找不到以至于spark任务执行失败
2.2 方案2(推荐在spark-env.sh 中配置参数,不在spark-defaults.conf 中配置)
spark环境配置spark.local.dir,其中 SPARK_LOCAL_DIRS : storage directories to use on this node for shuffle and RDD data
修改 conf 目录下的spark-defaults.conf 或者 conf 目录下的spark-env.conf,下面我们来一一验证哪个更好。
(1)修改spark执行时临时目录的配置,增加如下一行
spark.local.dir /diskb/sparktmp,/diskc/sparktmp,/diskd/sparktmp,/diske/sparktmp,/diskf/sparktmp,/diskg/sparktmp
说明:可配置多个目录,以 "," 分隔。
(2)修改配置spark-env.sh下增加
export SPARK_LOCAL_DIRS=spark.local.dir /diskb/sparktmp,/diskc/sparktmp,/diskd/sparktmp,/diske/sparktmp,/diskf/sparktmp,/diskg/sparktmp
如果spark-env.sh与spark-defaults.conf都配置,则SPARK_LOCAL_DIRS覆盖spark.local.dir 的配置
生产环境我们按照这样的思路去处理
生产环境修改为:在spark-defaults.conf 下增加一行
spark.local.dir /home/hadoop/data/sparktmp
然后运行通过下面的命令验证