关于zookeeper集群的配置问题

Hadoop HA集群搭建常见问题：

      本篇以五个节点搭建的集群为例，方案如下：

      master:zookeeper datanode namenode resourcemanager nodemanager

      slave1:zookeeper datanode namenode resourcemanager nodemanager

      slave2:zookeeper datanode nodemanager

      slave3:zookeeper datenode nodemanager

      slave4:zookeeper datanode nodemanager

       

      在配置Hadoop HA集群时，常常会遇到以下问题：

       1，若是刚配置好的HA集群，如果在启动的时候有些节点没有启动，或者缺失，我们在启动的过程中单凭shell上面显示的提示是看不出来哪些是失败的哪些是成功的，当然也无从知道失败的原因。

       那么唯一的办法就是在启动之后在每个节点上面查看状态：使用jps命令

假如有一个节点的namenode没有启动，那么我们就在相应节点上面查看日志文件，便可以知道没有成功启动的原因了（假如slave1的namenode没有成功启动）：

所有节点若是没有成功启动，错误信息一定在这个里面有提示。

       2、启动之后可能会出现ActivrNamenode 和 StandbyNamenode显示的livenodes不同数目，这说明两个datanode都和两个namenode之前进行正常的通信，如果配置没有问题的话，就应该是网络问题

zookeeper命令:

 

配置jobhistoryserver：

       在yarn-site.xml增加下面：

       <property> 

   <name>yarn.log-aggregation-enable</name> 

    <value>true</value> 

</property>

<property>

     <name>yarn.log.server.url</name>

     <value>http://master:19888/jobhistory/logs</value>

</property>

 

在mapred-site.xml增加：

<property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

<description>MapReduce

 JobHistory Server Web UI host:port</description>

</property>