- 博客(1)
- 收藏
- 关注
翻译 Spark:java.io.IOException: No space left on device
这是因为Spark在本地系统的/ tmp目录下创建了一些临时shuffle文件。 /tmp目录过小就会报这个错 可以通过在spark conf文件中设置以下属性来避免此问题。 搜索spark-evn.sh find . -name 'spark-env.sh’ 在spark-evn.sh文件中追加。 SPARK_JAVA_OPTS+=" -Dspark.local.dir=/mnt/spark,/mnt2/spark -Dhadoop.tmp.dir=/mnt/ephemeral-hdfs" export
2020-09-14 18:19:30
1181
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人