Linux空间不足、HDFS空间不足解决方法

使用sudo du -sh /* | sort -nr命令查看那个目录占用空间大

我的是由于hadoop目录过大
1、执行sudo -u hdfs hadoop fs -du -h /
查询hdfs中各目录的占用的空间，进入占用最多的目录中（一般是日志或临时文件）

2、找到目录 /user/root/.sparkStaging 占用了大量空间，此目录下存放的是各spark历史任务依赖文件

3、执行hdfs dfs -rm -r /user/root/.sparkStaging/*
删除此目录下的文件夹

4、删除的文件会被保存到/user/root/.Trash，清空垃圾桶即可

参考：https://blog.csdn.net/weixin_38425162/article/details/117570524
https://blog.csdn.net/a854517900/article/details/80824966