hadoop的日志知识点

hadoop的日志知识点

一、hadoop的日志文件

默认放在：$HADOOP_HOME/logs中

日志文件的位置的配置信息,在$HADOOP_HOME/etc/hadoop/hadoop-env.sh中

但是建议：将日志文件的路径修改到/var/log/hadoop中，使它独立于hadoop的安装目录，避免hadoop升级后安装路径发生变化

修复方法：

在hadoop-env.sh中添加

export HADOOP_LOG_DIR=/var/log/hadoop

二、logs下的日志文件

hadoop的守护进程会产生两类日志文件：

• 以.log结尾，通过的log4j记录的，大部分的应用程序的日志文件都会到写到该日志文件中，该日志文件采用日常滚动文件追加方式（daily rolling file）来循环管理
  文件 。系统不自动删除过期的日志，留给用户自己定期删除或存档，来节约磁盘空间。

• 以.out结尾，记录标准输出和标准错误日志，但是hadoop中少用。重启守护进程时，
  会重新创建新的文件来记录日志，而且只会保留5个日志文件，从5~1（5是最旧的

  文件）

三、日志文件命令

日志文件的名称一般都是包含了守护进程的用户名称、守护进程名称、本地主机名等信息的。

其中用户名称可以在$HADOOP_HOME/etc/hadoop-env.sh 中进行修改

默认值为$USER用户名，这个我们也可以修改的