hadoop日志

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/BIGSEACOMING/article/details/78244598

1.日志的配置完善

进入Hadoop的安装目录的logs的目录这个目录中记录的是yarn集群的进程的日志信息。在目录/opt/hadoop-2.6.0/logs下记录的是dfs各个进程的日志信息,日志信息的格式是框架名称+用户名+进程名+日志后缀


其中以.log结尾的是log4j记录的日志,主要记录了各个进程启动成功和失败的信息,查个这个日志我们就可以分析哪个进程成功启动了,哪个失败了,在对应失败的进程单独启动。查看日志有两种方法,more加日志文件名称,还有一种就是tail -f 日记文件名称  这个方法就是滚动查看日志,若有日志生成就滚动显示生成的日志。小tips:

启动hdfs系统的三个进程(namenode,datanode,secondarynamenode):在hadoop安装目录下执行:sbin/start-dfs.sh

启动yan集群的两个进程(nodemanager,resoucemanager)在hadoop的安装目录下执行:sbin/start-yarn.sh

单独启动/结束hdfs的某个进程:sbin/hadoop-daemon.sh start/stop datanode/namenode/secondarynamenode;

单独启动/结束yarn的某个进程:sbin/yarn-daemon.sh start/stop nodemanager/resourcemanager

hdfs和yarn集群的各个进程都启动后我们可以进行一些简单的操作,比如运行一个词频统计的命令:


在运行bin/hadood命令 jar jar包 jar包中的方法 输入文件目录 输入文件目录(enter执行)

运行成功后会在logs目录下生成一个userlog目录,这个目录存放的就是提交的任务的日志


stderr是输出的错误日志,stdout是标准输出日志,syslog是完整任务日志。








没有更多推荐了,返回首页