Yarn 任务缓存数据和HistoryServer 历史任务日志数据清理

清理yarn-nodemanager 历史任务存储的中间结果以及依赖jar包

修改 yarn-site.xml

vim $HADOOP_HOME/etc/hadoop/yarn-site.xml
添加以下内容
    <property>
        <name>yarn.nodemanager.localizer.cache.target-size-mb</name>
        <value>1024</value>
        <description>数据最大限制超过此值将清除历史任务数据</description>
    </property>
    <property>
        <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
        <value>604800000</value>
        <dedication>多久做一次检测，并清除缓存目录直到目录大小低于target-size-mb</dedication>
    </property>

清理hadoop-historyserver 历史日志聚合功能后存储到hdfs中的日志数据

修改 yarn-site.xml

vim $HADOOP_HOME/etc/hadoop/yarn-site.xml
添加以下内容
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>432000</value>
        <dedication>多久清理一次历史聚合日志</dedication>
    </property>
    <property>
        <name>yarn.nodemanager.remote-app-log-dir</name>
        <value>/tmp/container/logs</value>
        <dedication>聚合后的日志hdfs存放目录</dedication>
     </property> 

重启hadoop集群参数生效