java hdfs ha 集群_使用QJM部署HDFS HA集群

一、所需软件

1. JDK版本

版本： jdk-7u79-linux-x64.gz

2. Hadoop软件

版本： hadoop-2.6.0.tar.gz

二、配置ssh免密码登陆：

三、环境说明

主备NameNode有多种配置，本文采用QJM(Quorum Journal Manager) ，主备NameNode应位于不同机器上

集群中包括4个节点：1个Master，3个Salve，节点之间局域网连接，可以相互ping通。

本人有3台云主机，主机名分别为h1,h2,h3。由于资源紧缺，master和其中一个salve共用h1主机。

搭建手动切换ha集群，较自动切换少了一个zookeeper集群。

主机分布情况如下：

h1:  master  namenode(主)  journalnode   datanode

h2:  salve　  namenode(备)  journalnode   datanode

h3:  salve　　　　　　　　　 journalnode   datanode

四、HDFS HA (QJM)集群安装

1. 在h1上解压hadoop-2.6.0.tar.gz并重命名为hadoop

> tar zxvf hadoop-2.6.0.tar.gz

> mv hadoop-2.6.0 hadoop

2. 配置hadoop-env.sh

配置jdk路径，如： export JAVA_HOME=/root/software/jdk1.7.0_79

3. 配置core-site.xml

修改Hadoop核心配置文件core-site.xml，这里配置的是HDFS的地址和端口号

> cd /hadoop/etc/hadoop

> vim core-site.xml

配置如下：

注：此处h1为本机的hostname

4. 配置slaves

此配置为master主机特有，配置此文件有两种方式

第一种：去掉"localhost"，每行只添加一个主机名，把所有的Slave主机名都填上。

如：h1

h2

h3

第二种： 去掉"localhost"，加入集群中所有Slave机器的IP，也是每行一个。

如：192.168.1.1

192.168.1.2

192.168.1.3

5. 配置hdfs-site.xml

如下所示：

(1). dfs.nameservices

集群中命名服务列表(自定义)

(2). dfs.ha.namenodes.[nameservice ID]

命名服务中的namenode逻辑名称(自定义)

(3). dfs.namenode.rpc-address.[nameservice ID].[name node ID]

命名服务中逻辑名称对应的RPC地址

(4). dfs.namenode.http-address.[nameservice ID].[name node ID]

命名服务中逻辑名称对应的HTTP地址

(5). dfs.namenode.name.dir

NameNode fsiamge存放目录

(6). dfs.namenode.shared.edits.dir

主备NameNode同步元信息的共享存储系统

(7). dfs.journalnode.edits.dir

Journal Node数据存放目录

6. 将h1上的hadoop文件夹复制到h2、h3节点上

7. 启动关闭HDFS

步骤1：在各个JournalNode节点上，输入以下命令启动journalnode服务：

> sbin/hadoop-daemon.sh start journalnode步骤2：在[nn1]上，对其进行格式化，并启动：> bin/hdfs namenode -format

> sbin/hadoop-daemon.sh start namenode步骤3：在[nn2]上，同步nn1的元数据信息：> bin/hdfs namenode -bootstrapStandby步骤4：在[nn2]，启动NameNode：> sbin/hadoop-daemon.sh start namenode(经过以上四步操作，nn1和nn2均处理standby状态)步骤5：在[nn1]上，将NameNode切换为Active> bin/hdfs haadmin -transitionToActive nn1步骤6：在[nn1]上，启动所有datanode> sbin/hadoop-daemons.sh start datanode

启动成功可通过jps命令查看结果，如下所示：

关闭：

在[nn1]上输入命令 sbin/stop-dfs.sh

8. HDFS WEB界面浏览

启动hdfs后界面如下：