spark找不到服务器文件,在Standalone模式下执行Spark命令所产生的临时目录导致硬盘爆满的解决方法...

昨天，在执行spark-sql时，查询数据量超过1000万行，数据量大小7.6G，出现系统盘占用突然变高的情况，Job任务在运行过程中产生大量的临时目录位置，导致某个分区磁盘写满，主要原因spark运行产生临时目录的默认路径/tmp/spark检查为 /tmp 目录下，spark生成的临时目录占用了大量的硬盘空间，生成的spark临时文件总共超过19了。

解决方案为：

1、删除 /tmp/spark* 的文件

rm -rf  /tmp/spark*

2、修改spark执行时临时目录的配置，在 conf 目录下的spark-defaults.conf的配置文件，增加如下一行：

spark.local.dir /diskb/sparktmp,/diskc/sparktmp,/diskd/sparktmp,/diske/sparktmp,/diskf/sparktmp,/diskg/sparktmp

说明：可配置多个目录，以 “,” 分隔。

3、也配置spark-env.sh下增加

export SPARK_LOCAL_DIRS=spark.local.dir /diskb/sparktmp,/diskc/sparktmp,/diskd/sparktmp,/diske/sparktmp,/diskf/sparktmp,/diskg/sparktmp

如果spark-env.sh与spark-defaults.conf都配置，则SPARK_LOCAL_DIRS覆盖spark.local.dir 的配置

下面是实际操作记录分享

1、项目运维需求

线上的Spark的集群相关/tmp/spark-* 日志会把 /分区磁盘写满，建议优化应用程序或更改日志路径到/home/ 子目录下

2、解决方案

2.1 方案1(不建议使用)

可以通过crontab 定时执行rm -rf  /tmp/spark*命令，缺点：当spark的任务执行，这个时候会生成/tmp/spark* 的临时文件，正好在这个时候

crontab 启动rm命令，从而导致文件找不到以至于spark任务执行失败

2.2 方案2(推荐在spark-env.sh 中配置参数，不在spark-defaults.conf 中配置)

spark环境配置spark.local.dir，其中 SPARK_LOCAL_DIRS ： storage directories to use on this node for shuffle and RDD data

修改 conf 目录下的spark-defaults.conf 或者 conf 目录下的spark-env.conf，下面我们来一一验证哪个更好。

(1)修改spark执行时临时目录的配置，增加如下一行

spark.local.dir /diskb/sparktmp,/diskc/sparktmp,/diskd/sparktmp,/diske/sparktmp,/diskf/sparktmp,/diskg/sparktmp

说明：可配置多个目录，以 "," 分隔。

(2)修改配置spark-env.sh下增加

export SPARK_LOCAL_DIRS=spark.local.dir /diskb/sparktmp,/diskc/sparktmp,/diskd/sparktmp,/diske/sparktmp,/diskf/sparktmp,/diskg/sparktmp

如果spark-env.sh与spark-defaults.conf都配置，则SPARK_LOCAL_DIRS覆盖spark.local.dir 的配置

生产环境我们按照这样的思路去处理

生产环境修改为：在spark-defaults.conf 下增加一行

spark.local.dir /home/hadoop/data/sparktmp

然后运行通过下面的命令验证࿱