Hadoop垃圾回收站与YARN日志聚合

最新推荐文章于 2024-07-12 00:39:17 发布

猿说新宇

最新推荐文章于 2024-07-12 00:39:17 发布

阅读量821

点赞数

分类专栏： Hadoop 文章标签： hadoop 垃圾回收 YARN

本文链接：https://blog.csdn.net/W1331808514/article/details/85019396

版权

Hadoop 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

垃圾回收站

在HDFS里，回收站功能开启后，删除文件时，不会真正的删除，暂时是放入回收站.trash中，回收站里的文件可以快速恢复。可以设置一个时间阈值，当回收站里文件的存放时间超过这个阈值或是回收站被清空时，文件才会被彻底删除，并且释放占用的数据块。Hadoop回收站trash，默认是关闭的。

将core-site.xml内fs.trash.interval参数修改为需要回收站保留的时长。

<name>fs.trash.interval</name>

</property>

默认是0 单位:分钟（这里设置的为4320=3*24*60，即三天保留时间）。

恢复数据：

hdfs dfs –mv 回收站内数据目录要恢复到的hdfs目录

清空回收站：

·hdfs dfs –expunge

·hdfs dfs –rmr /user/user01/.Trash/*

YARN日志清理

YARN日志

YARN中的id种类繁多，比较乱，下面整理下yarn中常出现的几种id：

1）jobId

描述：出自MapReduce，对作业的唯一标识。

格式：job_${clusterStartTime}_${jobid}

例子：job_1498552288473_2742

2）applicationId

描述：在yarn中对作业的唯一标识。

格式：application_${clusterStartTime}_${applicationId}

例子：application_1498552288473_2742

3）taskId

描述：作业中的任务的唯一标识

格式：task_${clusterStartTime}_${applicationId}_[m|r]_${taskId}

例子：task_1498552288473_2742_m_000000、task_1498552288473_2742_r_000000

4）attempId

描述：任务尝试执行的一次id

格式：attempt_${clusterStartTime}_${applicationId}_[m|r]_${taskId}_${attempId}

例子：attempt_1498552288473_2742_m_000000_0

5）appAttempId

描述：ApplicationMaster的尝试执行的一次id。

格式：appattempt_${clusterStartTime}_${applicationId}_${appAttempId}

例子：appattempt_1498552288473_2742_000001

6）containerId：

描述：container的id

格式：

container_e*epoch*_${clusterStartTime}_${applicationId}_${appAttempId}_${containerId}

例子：

container_e20_1498552288473_2742_01_000032，

container_1498552288473_2742_01_000032

yarn中的日志可分为服务类日志和任务日志两大类：

服务类日志

诸如ResourceManager、NodeManager等系统自带的服务输出来的日志默认存放在

$HADOOP_HOME/logs目录下，此参数可通过参数YARN_LOG_DIR指定(yarn-env.sh配置文件，当前配置为/e3base/hadoop/logs/)。比如resourcemanager的输出日志为

yarn-${USER}-resourcemanager-${hostname}.log，其中${USER}是指启动resourcemanager进程的用户，${hostname}是resourcemanager进程所在的主机的hostname，nodemanager的输出日志格式为：yarn-${USER}-nodemanager-${hostname}.log,这类日志可以查看当前resourcemanager和nodemanager两个服务的运行情况。

任务日志

作业的统计日志：

历史作业的记录里面包含了一个作业用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息；这些信息对分析作业是很有帮助的，我们可以通过这些历史作业记录得到每天有多少个作业运行成功、有多少个作业运行失败、每个队列作业运行了多少个作业等很有用的信息。这部分日志会用于JobHistoryServer。

<name>mapreduce.jobhistory.intermediate-done-dir</name>

<value>/user/history/idone</value>

</property>

mapred-site.xml

<name>mapreduce.jobhistory.done-dir</name>

<value>/user/history/done</value>

</property>

作业的运行日志：

Container日志包含ApplicationMaster日志和普通Task日志等信息，主要包含container的启动脚本，还有container的运行日志。默认情况下，这些日志信息存放在${HADOOP_HOME}/logs/userlogs目录下，我们可以通过下面的配置进行修改。

yarn-site.xml

<name>yarn.nodemanager.log-dirs</name>

<value>/chunkdata01/yarn/logs,/chunkdata02/yarn/logs,/chunkdata03/yarn/logs,

/chunkdata04/yarn/logs,/chunkdata05/yarn/logs,/chunkdata06/yarn/logs,

/chunkdata08/yarn/logs,/chunkdata09/yarn/logs, /chunkdata10/yarn/logs,

/chunkdata11/yarn/logs,/chunkdata12/yarn/logs</value>

</property>

yarn.nodemanager.log-dirs该参数为存储container容器日志的位置，一个应用程序的本地化日志目录将在${yarn.nodemanager.log-dirs}/application_${appid}中找到。单个容器的日志目录将在其子目录中，在名为的目container_{$contid}录中。每个容器目录将包含由该容器生成的文件stderr, stdin,和 syslog信息，如下图：

日志聚合

从上面作业的运行日志中可以发现，container的日志在一台机器的12块盘上都会存在日志，而且并不知道container的日志会在哪个盘上，默认情况下，每块盘上都会创建相同的applicationid，而且applicationid中都会创建相同的containerid，但是并不是每个container中都会存在日志，这块由container自己的机制选择往哪个container目录中写入日志，其他的container目录则为空。这在一定程度上导致了想查看任务的运行日志比较困难。

日志的聚合功能可以解决这个问题。

<name>yarn.log-aggregation-enable</name>

</property>

yarn-site.xml

<name>yarn.nodemanager.remote-app-log-dir</name>

</property>

<name>yarn.nodemanager.remote-app-log-dir-suffix</name>

</property>

该参数为开启yarn日志聚合功能(默认关闭)，会把各nodemanager上的applicaion的所有盘上的container上传到hdfs，hdfs路径由一下两个参数决定：

经过参数修改后：上传到的hdfs路径为：/tmp/logs/${user}/logs(默认位置)

日志聚合机制：