PySpark集群运行任务报错No Space Left on the device

在实际运用中运用Spark集群跑任务的时候出现No Space Left on the device的错误,解决方法如下:

1. 修改配置文件spark-env.sh,把临时文件引入到一个自定义的目录中去即可

export SPARK_LOCAL_DIRS=/data/tmp

2. 通过df -h 和du -sh * 查看当前的磁盘的使用情况,清理磁盘

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页