hadoop.tmp.dir指定hadoop的临时存储目录。在该目录下有filecache会占用很多的存储。
做如下改动:
1.增加配置,分发到所有节点,自动清理
<property>
<name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
<value>3000</value>
</property>
2.每个节点手动删除内容:
rm -rf /usr/local/hadoop/tmp/nm-local-dir/usercache/root/filecache/*
3.重启大数据相关服务:
cd /opt/module
./spark-2.4.5/sbin/stop-all.sh
hiveservices.sh stop
stop-all.sh
start-all.sh
hiveservices.sh start
./spark-2.4.5/sbin/start-all.sh