大数据组件常用日志位置

大数据组件常用日志位置

hadoop和Hbase日志位置

*重要日志的位置( user是启动服务的用户，hostname 是机器的名字)*

NameNode: $HADOOP_HOME/logs/hadoop-user-namenode-hostname.log

DataNode: $HADOOP_HOME/logs/hadoop-user-datanode-hostname.log

JobTracker: $HADOOP_HOME/logs/hadoop-user-jobtracker-hostname.log

TaskTracker: $HADOOP_HOME/logs/hadoop-user-jobtracker-hostname.log

HMaster: $HBASE_HOME/logs/hbase-user-master-hostname.log

RegionServer: $HBASE_HOME/logs/hbase-user-regionserver-hostname.log

ZooKeeper: TODO

Hive日志：

/tmp/user/hive.log

• Log 位置

对于单节点模式，Log都会在一台机器上，但是对于生产环境，都会运行在一个集群上。

• *NameNode*

NameNode的日志在NameNode server上。HBase Master 通常也运行在NameNode server上，ZooKeeper通常也是这样。

对于小一点的机器，JobTracker也通常运行在NameNode server上面。

• *DataNode*

每一台DataNode server有一个HDFS的日志，Region有一个Hbase日志。

每个DataNode server还有一份TaskTracker的日志，来记录MapReduce的Task信息。

• HBase通常存放日志的地方：/var/log/hbase 或 $HBASE_HOME/logs