centos7 hadoop HA高可用集群搭建（ hadoop2.7 zookeeper3.4 ）

目录

一、服务器环境

二、集群规划

三、安装配置Zookeeper

四、安装配置Hadoop

七、总结

---

上篇文章写了如何用ssh免密登录，当然这些操作都是在hadoop账号上的操作，包括这篇文章也是一样 三台主机

一、服务器环境

主机名	IP	用户名	密码	安装目录
node1	192.168.31.106	hadoop	123456	/home/hadoop/
node2	192.168.31.175	hadoop	123456	/home/hadoop/
node3	192.168.31.36	hadoop	123456	/home/hadoop/

二、集群规划

master188	master189	slave190
NameNode	NameNode
DataNode	DataNode	DataNode
Zookeeper	Zookeeper	Zookeeper
ResourceManager	ResourceManager
NodeManager	NodeManager	NodeManager

注：在此之前把防火墙啥的全都关闭，并且设置为开机不启动

$systemctl stop firewalld.service
$systemctl disable firewalld.service
$systemctl status firewalld.service
not running

 

三、安装配置Zookeeper

1、下载及安装

下载地址：http://mirrors.hust.edu.cn/ap...

在master188机器上，下载后解压到/home/hadoop/目录下：

tar -zxvf zookeeper-3.4.11.tar.gz  /home/hadoop/

2、拷贝 zoo_sample.cfg

进入zookeeper的conf目录，拷贝zoo_sample.cfg并重命名为zoo.cfg ：

cd zookeeper-3.4.11/conf/

cp zoo_sample.cfg zoo.cfg

3、修改 zoo.cfg

vi zoo.cfg

修改如下，若原文件没有dataDir则直接添加：

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/home/hadoop/zookeeper/data/zkData
dataLogDir=/home/hadoop/zookeeper/data/zkDataLog

clientPort=2181



server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

4、创建并编辑myid

//在zookeeper根目录下创建zoo.cfg中配置的目录
mkdir data/zkData/ -p

//创建并编辑文件
vi myid

//输入1，即表示当前机器为在zoo.cfg中指定的server.1
1

//保存退出
:wq

5、拷贝zookeeper到其他机器

上述操作是在master188机器上进行的，要将zookeeper拷贝到其他zookeeper集群机器上：

cd /home/hadoop

scp -r zookeeper/ hadoop@node1:/home/hadoop/

scp -r zookeeper/ hadoop@node2:/home/hadoop/

集群中各组件的安装目录最好保持一致。

6、修改其他机器的myid文件

myid文件是作为当前机器在zookeeper集群的标识，这些标识在zoo.cfg文件中已经配置好了，但是之前在master188这台机器上配置的myid为1，所以还需要修改其他机器的myid文件：

//在master189机器上
echo 2 > /home/hadoop/zookeeper/data/zkData/myid
//在slave190机器上
echo 3 > /home/hadoop/zookeeper/data/zkData/myid

7、启动zookeeper集群

cd zookeeper-3.4.11/bin/
//分别在node1、node2、node3上启动
./zkServer.sh start

//查看状态
./zkServer.sh status

三台机器的zookeeper状态必须只有一个leader，其他都是follower。

//查看进程，若有QuorumpeerMain，则启动成功
jps

四、安装配置Hadoop

1、下载及安装

下载地址：http://mirrors.hust.edu.cn/ap...

在master88机器上，解压到/home/hadoop/目录下：

tar -zxcf hadoop-2.7.1.tar.gz -C /home/hadoop/

2、配置

进入配置文件目录，修改配置文件

cd hadoop-2.7.1/etc/hadoop/

1）vi hadoop-env.sh

配置JDK安装路径：

JAVA_HOME=/usr/local/soft/java

2）vi core-site.xml

<configuration>
  <!-- hdfs地址，ha模式中是连接到nameservice  -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://ns1</value>
  </property>
  <!-- 这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录，也可以单独指定 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadoop/tmp</value>
  </property>

  <!-- 指定ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点-->
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>node1:2181,nod2:2181,nod3:2181</value>
  </property>

</configuration>

3）vi hdfs-site.xml

<configuration>
  <!-- 指定副本数，不能超过机器节点数  -->
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>

  <!-- 为namenode集群定义一个services name -->
  <property>
    <name>dfs.nameservices</name>
    <value>ns1</value>
  </property>

  <!-- nameservice 包含哪些namenode，为各个namenode起名 -->
  <property>
    <name>dfs.ha.namenodes.ns1</name>
    <value>node1,node2</value>
  </property>

  <!-- 名为master188的namenode的rpc地址和端口号，rpc用来和datanode通讯 -->
  <property>
    <name>dfs.namenode.rpc-address.ns1.node1</name>
    <value>node1:9000</value>
  </property>

  <!-- 名为master189的namenode的rpc地址和端口号，rpc用来和datanode通讯 -->
  <property>
    <name>dfs.namenode.rpc-address.ns1.node2</name>
    <value>node2:9000</value>
  </property>

  <!--名为master188的namenode的http地址和端口号，用来和web客户端通讯 -->
  <property>
    <name>dfs.namenode.http-address.ns1.node1</name>
    <value>node1:50070</value>
  </property>

  <!-- 名为master189的namenode的http地址和端口号，用来和web客户端通讯 -->
  <property>
    <name>dfs.namenode.http-address.ns1.node2</name>
    <value>node2:50070</value>
  </property>
  
  <!-- namenode间用于共享编辑日志的journal节点列表 -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://node1:8485;node2:8485;node3:8485/ns1</value>
  </property>

  <!-- 指定该集群出现故障时，是否自动切换到另一台namenode -->
  <property>
    <name>dfs.ha.automatic-failover.enabled.ns1</name>
    <value>true</value>
  </property>

  <!-- journalnode 上用于存放edits日志的目录 -->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/home/hadoop/hadoop/data/dfs/journalnode</value>
  </property>

  <!-- 客户端连接可用状态的NameNode所用的代理类 -->
  <property>
    <name>dfs.client.failover.proxy.provider.ns1</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>

  <!-- 一旦需要NameNode切换，使用ssh方式进行操作 -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>

  <!-- 如果使用ssh进行故障切换，使用ssh通信时用的密钥存储的位置 -->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/hadoop/.ssh/id_rsa</value>
  </property>

  <!-- connect-timeout超时时间 -->
  <property>
    <name>dfs.ha.fencing.ssh.connect-timeout</name>
    <value>30000</value>
  </property>
</configuration>

4）vi mapred-site.xml

<!-- 采用yarn作为mapreduce的资源调度框架 -->
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

5）vi yarn-site.xml

<configuration>

  <!-- 启用HA高可用性 -->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>

  <!-- 指定resourcemanager的名字 -->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yrc</value>
  </property>

  <!-- 使用了2个resourcemanager,分别指定Resourcemanager的地址 -->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
  
  <!-- 指定rm1的地址 -->
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>node1</value>
  </property>
  
  <!-- 指定rm2的地址  -->
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>node2</value>
  </property>
  
  <!-- 指定当前机器master188作为rm1 -->
  <property>
    <name>yarn.resourcemanager.ha.id</name>
    <value>rm1</value>
  </property>
  
  <!-- 指定zookeeper集群机器 -->
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>node1:2181,node2:2181,node3:2181</value>
  </property>
  
  <!-- NodeManager上运行的附属服务，默认是mapreduce_shuffle -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

</configuration>

6）vi slaves

node1
node2
node3

3、拷贝hadoop到其他机器

1）拷贝

scp -r hadoop hadoop@node2:/home/hadoop/

scp -r hadoop hadoop@node3:/home/hadoop/

2）修改yarn-site.xml

在master189机器，即ResourceManager备用主节点上修改如下属性，表示当前机器作为rm2:：

  <property>
    <name>yarn.resourcemanager.ha.id</name>
    <value>rm2</value>
  </property>

同时删除slave190机器上的该属性对，因为slave190机器并不作为ResourceManager。

3、启动Hadoop

1)启动Journalnode

cd hadoop/sbin/

./hadoop-daemon.sh start journalnode

//查看进程JouralNode是否启动
jps

2）格式化 NameNode和ZKFC

在master188机器上，执行格式化操作：

cd hadoop-2.6.5/bin

./hdfs namenode -format

./hdfs zkfc -formatZK

3）备用主节点同步主节点元数据

在master189（备用主节点）机器上，执行同步操作：

cd hadoop/bin

./hdfs namenode -bootstrapStanby

 

4）启动HDFS、YARN、ZookeeperFailoverController

在master188机器上：(注意，在操作之前，要保证zookeeper是正常启动的)

cd hadoop-2.6.5/sbin

./start-dfs.sh

//验证，显示NameNode和DataNode
jps

./start-yarn.sh

//验证，显示ResourceManager和NodeManager
jps

./hadoop-daemon.sh start zkfc

//验证，显示ZookeeperFailoverController
jps

在master189机器上，启动ResourceManager，备用主节点的ResourceManager需要手动启动：

cd hadoop-2.6.5/sbin

yarn-daemon.sh start resourcemanager

6）查看Namenode、ResourceManager状态

在master188机器上执行：

hdfs haadmin -getServiceState master188
yarn rmadmin -getServiceState rm1 

hdfs haadmin -getServiceState master189
yarn rmadmin -getServiceState rm2

也可以通过Web界面来查看，浏览器中输入 ip:50070 查看HDFS，输入 ip:8088/cluster/cluster 查看YARN。

7）测试高可用

a.主节点--->备用主节点

kill掉主节点的namenode，查看备用主节点的namenode状态是否切换为active；

kill掉主节点的ResourceManager，查看备用主节点的ResourceManager是否切换为active；

b.备用主节点--->主节点

若上述操作执行成功，那么再测试反向故障自动转移

先启动被杀死的原主节点的namenode和ResourceManager

hadoop-daemon.sh start namenode 

yarn-daemon.sh start resourcemanager

再kill备用主节点的namenode和ResourceManager，查看主节点的状态，若能切换为active，那么Hadoop HA高可用集群搭建完成。

 

七、总结

需要注意的地方：

1）备用节点上的NameNode、ResourceManager、HMaster均需单独启动；

hadoop-daemon.sh start namenode

yarn-daemon.sh start resourcemanager

 

3）在备用主节点同步主节点的元数据时，主节点的HDFS必须已经启动；

4）无法查看standby状态的节点上的hdfs；

5）格式化namenode时要先启动各个JournalNode机器上的journalnode进程：hadoop-daemon.sh start journalnode；

6）若遇到问题，可以先考虑是哪个组件出现问题，然后查看该组件或与该组件相关的组件的日志信息；若各组件web页面无法访问，或存在其他连接问题，可以从「防火墙是否关闭」、「端口是否被占用」、「SSH」、「集群机器是否处于同一网段」内等角度考虑；

7）个人在操作的时候出现过ssh无法启用，拒绝连接，的问题

注：参考文章为：https://segmentfault.com/a/1190000012486628