CDH 版本子节点启动问题

最新推荐文章于 2022-06-06 14:05:49 发布

weixin_30788619

最新推荐文章于 2022-06-06 14:05:49 发布

阅读量222

点赞数

文章标签：大数据运维

原文链接：http://www.cnblogs.com/peizhe123/p/7496030.html

版权

今天下午整整为了启动一个节点瞎忙活一下午，惨痛的教训还是记录下来吧，毕竟付出了代价。事情原委，一个同事在一台机器上占用了大量内存训练CTR点击率模型，而这台机器上部署了分布式Hadoop的一个datanode,一开始报警我没太在意，突然同事告诉我他上不去这台机器了，我心里咯噔一下，完蛋，估计hadoop挂了，上去一看，果不其然，挂了然后下午瞎弄了差不多一下午都没能搞定。最终，在多篇博文的参考下，搞定了。总结问题如下：

下面这两种方法在实际应用中也可能会用到。
1）重启坏掉的DataNode或JobTracker。当Hadoop集群的某单个节点出现问题时，一般不必重启整个系统，只须重启这个节点，它会自动连入整个集群。
在坏死的节点上输入如下命令即可：

bin/Hadoop-daemon.sh start DataNode
bin/Hadoop-daemon.sh start jobtracker

复制代码

2）动态加入DataNode或TaskTracker。这个命令允许用户动态将某个节点加入集群中。

bin/Hadoop-daemon.sh --config ./conf start DataNode
bin/Hadoop-daemon.sh --config ./conf start tasktracker

复制代码

当然了Hadoop Log对普通用户本身来说是很大的一个挑战，要去解决你所遇到的问题，就要去看日志，去分析Hadoop的一个源码，排错，这些是最考验人的事。在解决问题的过程中，有时需要翻源码，有时会向同事、网友请教，遇到复杂问题则会通过mail list向全球各地Hadoop使用者,包括Hadoop Committer（Hadoop开发者）求助。在获得很多人帮助后，自己将遇到问题和心得整理成文，希望相关的总结可以对那些焦头烂额的Hadoop新手们有所帮助，少走笔者的弯路。

——写在hadoop学习、开发、运维、应用相关文章前面

监控发现hadoop2.x集群在yarn模式下有datanode节点挂了，处于dead状态需要对其进行快速恢复处理，为了保障分布式平台的可用性，一般情况下不需要停止整个集群，只需要对挂了的datanode节点进行重启即可，具体的处理方法如下：

一、关闭处于dead状态节点的相关hadoop进程，具体命令如下：

1、关闭datanode进程；
sbin/hadoop-daemon.sh stop datanode
2、关闭该节点yarn资源管理进程
sbin/yarn-daemon.sh stop nodemanager

二 、重启dead状态节点的相关hadoop进程（同样适用于动态新增节点启动），具体命令如下：

1、重启回复datanode进程；
sbin/hadoop-daemon.sh start datanode
2、重启回复该节点yarn资源管理进程
sbin/yarn-daemon.sh start nodemanager
3、使用jps命令查看重启进程情况

6847 DataNode

7574 NodeManager

7780 Jps

如果是主节点挂了，则可以考虑将整个集群重启，一般是在sbin/start-all.sh就可以了，当然也可以在主节点下执行以下命令。

1、启动集群namenode节点进程

sbin/hadoop-daemon.sh start namenode

2、启动集群secondarynamenode节点进程

sbin/hadoop-daemon.sh start secondarynamenode

3、启动yarn资源管理进程

sbin/yarn-daemon.sh start resourcemanager

Hadoop的日志有很多种，很多初学者往往遇到错而不知道怎么办，其实这时候就应该去看看日志里面的输出，这样往往可以定位到错误。Hadoop的日志大致可以分为两类：（1）、Hadoop系统服务输出的日志；（2）、Mapreduce程序输出来的日志。这两类的日志存放的路径是不一样的。本文基于Hadoop 2.x版本进行说明的，其中有些地方在Hadoop 1.x中是没有的，请周知。
　　

一、Hadoop系统服务输出的日志

　　诸如NameNode、DataNode、ResourceManage等系统自带的服务输出来的日志默认是存放在${HADOOP_HOME}/logs目录下。比如resourcemanager的输出日志为yarn-${USER}-resourcemanager-${hostname}.log，其中${USER}s是指启动resourcemanager进程的用户，${hostname}是resourcemanager进程所在机器的hostname；当日志到达一定的大小（可以在${HADOOP_HOME}/etc/hadoop/log4j.properties文件中配置）将会被切割出一个新的文件，切割出来的日志文件名类似yarn-${USER}-resourcemanager-${hostname}.log.数字的，后面的数字越大，代表日志越旧。在默认情况下，只保存前20个日志文件，比如下面：

 
    01-rw-r--r-- 1 wyp wyp 124M Mar 14 17:01 yarn-wyp-resourcemanager-master.log
 
    02-rw-r--r-- 1 wyp wyp 257M Mar  9 10:02 yarn-wyp-resourcemanager-master.log.1
 
    03-rw-r--r-- 1 wyp wyp 257M Feb  4 09:05 yarn-wyp-resourcemanager-master.log.10
 
    04-rw-r--r-- 1 wyp wyp 257M Feb  1 17:04 yarn-wyp-resourcemanager-master.log.11
 
    05-rw-r--r-- 1 wyp wyp 257M Jan 30 01:04 yarn-wyp-resourcemanager-master.log.12
 
    06-rw-r--r-- 1 wyp wyp 257M Jan 26 04:01 yarn-wyp-resourcemanager-master.log.13
 
    07-rw-r--r-- 1 wyp wyp 257M Jan 22 16:12 yarn-wyp-resourcemanager-master.log.14
 
    08-rw-r--r-- 1 wyp wyp 257M Jan 20 17:14 yarn-wyp-resourcemanager-master.log.15
 
    09-rw-r--r-- 1 wyp wyp 257M Jan 18 19:01 yarn-wyp-resourcemanager-master.log.16
 
    10-rw-r--r-- 1 wyp wyp 257M Jan 15 15:21 yarn-wyp-resourcemanager-master.log.17
 
    11-rw-r--r-- 1 wyp wyp 257M Jan 15 15:00 yarn-wyp-resourcemanager-master.log.18
 
    12-rw-r--r-- 1 wyp wyp 257M Jan 15 14:40 yarn-wyp-resourcemanager-master.log.19
 
    13-rw-r--r-- 1 wyp wyp 257M Mar  5 21:00 yarn-wyp-resourcemanager-master.log.2
 
    14-rw-r--r-- 1 wyp wyp 257M Jan 15 14:20 yarn-wyp-resourcemanager-master.log.20
 
    15-rw-r--r-- 1 wyp wyp 257M Feb 23 00:00 yarn-wyp-resourcemanager-master.log.3
 
    16-rw-r--r-- 1 wyp wyp 257M Feb 20 08:05 yarn-wyp-resourcemanager-master.log.4
 
    17-rw-r--r-- 1 wyp wyp 257M Feb 17 17:04 yarn-wyp-resourcemanager-master.log.5
 
    18-rw-r--r-- 1 wyp wyp 257M Feb 15 01:05 yarn-wyp-resourcemanager-master.log.6
 
    19-rw-r--r-- 1 wyp wyp 257M Feb 12 09:00 yarn-wyp-resourcemanager-master.log.7
 
    20-rw-r--r-- 1 wyp wyp 257M Feb  9 17:08 yarn-wyp-resourcemanager-master.log.8
 
    21-rw-r--r-- 1 wyp wyp 257M Feb  7 01:10 yarn-wyp-resourcemanager-master.log.9

上面这些都是可以配置的，比如resourcemanager（在${HADOOP_HOME}/etc/hadoop/log4j.properties）：

 
    01log4j.logger.org.apache.hadoop.yarn.server.resourcemanager.RMAppManager
 
    02          $ApplicationSummary=${yarn.server.resourcemanager.appsummary.logger}
 
    03log4j.additivity.org.apache.hadoop.yarn.server.resourcemanager
 
    04                                    .RMAppManager$ApplicationSummary=false
 
    05log4j.appender.RMSUMMARY=org.apache.log4j.RollingFileAppender
 
    06log4j.appender.RMSUMMARY.File=${hadoop.log.dir}/
 
    07                        ${yarn.server.resourcemanager.appsummary.log.file}
 
    08log4j.appender.RMSUMMARY.MaxFileSize=256MB（多大切割日志）
 
    09log4j.appender.RMSUMMARY.MaxBackupIndex=20（说明保存最近20个日志文件）
 
    10log4j.appender.RMSUMMARY.layout=org.apache.log4j.PatternLayout
 
    11log4j.appender.RMSUMMARY.layout.ConversionPattern=%d{ISO8601} %p %c{2}: %m%n

resourcemanager日志存放路径也是可以配置的（在${HADOOP_HOME}/etc/hadoop/yarn-env.sh）：

 
    1# default log directory & file
 
    2if [ "$YARN_LOG_DIR" = "" ]; then
 
    3  YARN_LOG_DIR="$HADOOP_YARN_HOME/logs"
 
    4fi

只需要修改YARN_LOG_DIR的值，这时候，yarn相关的日志记录都将存放在你配置的目录下。
　　

二、Mapreduce程序相关的日志

　　Mapreduce程序的日志可以分为历史作业日志和Container日志。
　　（1）、历史作业的记录里面包含了一个作业用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息；这些信息对分析作业是很有帮助的，我们可以通过这些历史作业记录得到每天有多少个作业运行成功、有多少个作业运行失败、每个队列作业运行了多少个作业等很有用的信息。这些历史作业的信息是通过下面的信息配置的：

 
    01<property>
 
    02    <name>mapreduce.jobhistory.done-dir</name>
 
    03    <value>${yarn.app.mapreduce.am.staging-dir}/history/done</value>
 
    04</property>
 
    05  
 
    06<property>
 
    07    <name>mapreduce.jobhistory.intermediate-done-dir</name>
 
    08    <value>${yarn.app.mapreduce.am.staging-dir}
 
    09                         /history/done_intermediate</value>
 
    10</property>
 
    11  
 
    12<property>
 
    13    <name>yarn.app.mapreduce.am.staging-dir</name>
 
    14    <value>/tmp/hadoop-yarn/staging</value>
 
    15</property>

　　更多关于Hadoop历史作业的信息，可以参考本博客的《Hadoop历史服务器详解》

　　（2）、Container日志包含ApplicationMaster日志和普通Task日志等信息。默认情况下，这些日志信息是存放在${HADOOP_HOME}/logs/userlogs目录下，我们可以通过下面的配置进行修改：

 
    01<property>
 
    02    <description>
 
    03      Where to store container logs. An application's localized log directory
 
    04      will be found in ${yarn.nodemanager.log-dirs}/application_${appid}.
 
    05      Individual containers' log directories will be below this, in
 
    06      directories  named container_{$contid}. Each container directory will
 
    07      contain the files stderr, stdin, and syslog generated by that container.
 
    08    </description>
 
    09    <name>yarn.nodemanager.log-dirs</name>
 
    10    <value>${yarn.log.dir}/userlogs</value>
 
    11</property>

　　熟悉Hadoop相关日志的存放地方不仅对运维Hadoop和观察Mapreduce的运行都是很有帮助的。

转载于:https://www.cnblogs.com/peizhe123/p/7496030.html

weixin_30788619

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
CDH 版本子节点启动问题

今天下午整整为了启动一个节点瞎忙活一下午，惨痛的教训还是记录下来吧，毕竟付出了代价。事情原委，一个同事在一台机器上占用了大量内存训练CTR点击率模型，而这台机器上部署了分布式Hadoop的一个datanode,一开始报警我没太在意，突然同事告诉我他上不去这台机器了，我心里咯噔一下，完蛋，估计hadoop挂了，上去一看，果不其然，挂了然后下午瞎弄了差不多一下午都没能搞定。最终，在多篇博文的参考下，搞...
复制链接

扫一扫