查看Linux系统日志及Hadoop日志

参考：
Linux查看log文件
如何查看Hadoop运行过程中产生日志

Linux日志

/var/log：日志文件来夹的默认存储路径

/var/log/messages：包括整体系统信息，其中也包含系统启动期间的日志。此外，还包括源mail，cron，daemon，kern和auth等内容

/var/log/syslog：和/etc/log/messages日志文件不同，它只记录警告信息，常常是系统出问题的信息

/var/log/user.log：记录所有等级用户信息的日志

/var/log/auth.log：包含系统授权信息，包括用户登录和使用的权限机制等

相关查询操作：
查询日志的全部内容

cat /var/log/messages

查询日志的前5行

head -5 /var/log/messages

查询日志的最新5行

tail -5 /var/log/messages

查询日志的5到10行

sed -n '5,10p' /var/log/messages

Hadoop运行日志（Hadoop 2.x版本）

（我的Hadoop安装目录为：/usr/local/hadoop。可启动hadoop后echo $HADOOP_HOME查看）

YARN系统的服务日志包括ResourceManager日志和各个NodeManager日志，他们的日志位置如下：

/usr/local/hadoop/logs/yarn--resourcemanager-.log：ResourceManager日志存放位置

/usr/local/hadoop/logs/yarn--nodemanager-.log：各个NodeManager节点上的NodeManager日志存放位置

… …
应用程序日志包括jobhistory日志和Container日志，其中，jobhistory日志是应用程序运行日志，包括应用程序启动时间、结束时间，每个任务的启动时间、结束时间，各种counter信息等：
Container日志包含ApplicationMaster日志和普通Task日志，它们均存放在Hadoop安装目录下的userlogs目录中的application_xxx目录下，其中ApplicationMaster日志目录名称为container_xxx_000001，普通task日志目录名称则为container_xxx_000002，container_xxx_000003，….，同Hadoop 1.x一样，每个目录下包含三个日志文件：stdout、stderr和syslog，且具体含义是一样的。