由于每个spark任务执行会在/var/log/spark/apps下产生一个日志目录,由于我们集群常年累月执行任务下来有几百万个这样的任务日志,一条一条的删效率太低,也可以在hue界面删,但是分页每次最多执行删除1000条,只好选择模糊批量删除,如:
hadoop fs -rm -r /var/log/spark/apps/application_1584960300389_12*
(/var/log/spark/apps/application_1584960300389_1299141)
一次删除10万条日志记录。