搭建HADOOP高可用系统（Zookeeper)

大数据应用已经搞得沸沸扬扬，对ZOOKEEPER,HADOOP,SPARK,STREAM的文章也陆续出现在各大博客平台和技术交流论坛中，最近因琐事较多，时间不太充裕（也许只是借口而已），在个人进步这块有些懈怠，检讨一下（其实内心相当痛苦）

今天、写下有关Zookeeper和hadoop配置及搭建过程及个人的一些看法，以备后续翻阅。

• 环境说明

　版本说明：Zookeeper-3.4.11   Hadoop2.4

　操作环境：CentOS 7

   要求： Zookeeper和Hadoop的关系，及各自在分布式计算和数据处理领域的地位，需要提前备注一下

Hadoop是由Apache公司开源的一套分布式系统的架构，它实现了一个叫HDFS的分布式文件存储系统，全称是Hadoop Distributed File System, 它设计之初是用来部署在比较低廉的机器硬件之上，并且可以提供高吞吐量及大数据处理的能力。计算方面提供MapReduce模型为大数据处理提供支持。 

Zookeeper是用来配置和支持分布式调试的工具，类似于一个网管软件，是分布式高可用领域非常重要的开源软件，不只是大数据领域，在其他微服务系统架构中服务的发现和注册体系中也有一席之地（之后有机会和大家分享）

ZooKeeper好比客服，Hadoop是干活的，客服知道具体业务人员都是谁（小公司），有几个可以调度，甲不行就让乙来干（更贴切的描述应该对人员进行分组，一个活交给一组人干，而且可以保证这个活早晚会被接手（干活的速度就取决于任务调度的效率、业务人员的业务水平和平台的支撑能力等）

zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务

A、zookeeper是为别的分布式程序服务的

B、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务）

C、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务

半数机制：集群中半数以上机器存活，集群可用。

zookeeper适合装在奇数台机器上！！！

Zookeeper用于超级大集群时，延时会很长不太适合。

费话少说磨刀完毕，开始干活：

因为zookeeper的切换高活机制，建议集群主机大于3，且为寄数个（根据实际情况进行评估），只要超过半数机器可用则整个集群就可以正常运行。

• zookeeper安装

1.需要安装 JDK

2.安装方式

首先上传安装包，并解压到某处，如/usr/zookeeper

注：rz命令可以上传文件（弹出上传文件提示框），需要安装yum install lrzsz

3.配置conf/zoo.cfg

4.根据server.1…….,增加myid文件，放在dataDir下

###root>     Echo 1 > #dataDir/myid

5.启动#zooDir/bin/zkServer.sh start

6.查看服务器是否启动正确: zkServer.sh status

Mode将显示为leader或者follower,注间leader只能在一台主机上显示

7.注意，一般集群为内部网络专用，建议把防火墙关闭即可

• Hadoop安装

.安装配置hadoop集群（在hadoop-server1上操作）
2.1解压
tar -zxvf hadoop-2.4.1.tar.gz -C /weekend/
2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）
#将hadoop添加到环境变量中
vim /etc/profile
export JAVA_HOME=/hadoop/home/app/jdk1.7.0_55
export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
cd /home/hadoop/app/hadoop-2.4.1/etc/hadoop

2.2.1修改hadoo-env.sh
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_55

2.2.2修改core-site.xml
<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1/</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop-2.4.1/tmp</value>
</property>

<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop-server3:2181,hadoop-server3:2181,hadoop-server3:2181</value>
</property>
</configuration>

2.2.3修改hdfs-site.xml
<configuration>
<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>hadoop-server1:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>hadoop-server1:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>weekend02:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>hadoop-server2:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop-server3:8485;hadoop-server4:8485;hadoop-server5:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/hadoop/app/hadoop-2.4.1/journaldata</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

2.2.4修改mapred-site.xml
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

2.2.5修改yarn-site.xml
<configuration>
<!-- 开启RM高可用 -->
<property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>hadoop-server1</value>
</property>
<property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>hadoop-server2</value>
</property>
<!-- 指定zk集群地址 -->
<property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>hadoop-server3:2181,hadoop-server4:2181,hadoop-server5:2181</value>
</property>
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
</configuration>


2.2.6修改slaves(slaves是指定子节点的位置)
hadoop-server3
hadoop-server4
hadoop-server5

 

Over...