Hadoop学习--------hadoop高可用自动容灾（HA+JournalNode+zookeeper）

准备工作：

4台虚拟机 分别为centos00，centos01，centos02，centos03，centos04

其中centos00为数据节点，centos01，centos02，centos03作为数据节点，centos04作为centos00的名称节点备灾机器

Zookeeper安装以及完全分布式搭建：

1 、下载zookeeper-3.4.9.tar.gz 并解压

$tar -zxvf  zookeeper-3.4.9.tar.gz -C /soft/

3.、创建符号链接配置环境变量

$ln -s zookeeper-3.4.9 zookeeper

4、配置zk,复制zoo.cfg.sample-->zoo.cfg

5、启动ZK服务器

$zkServer.sh start

6、验证zk

$>netstat -anop | grep 2181

7，zookeeper的完全分布式搭建比较简单，步骤为在centos00,centos01,centos02按照上述步骤分别搭建zookeeper单机版，修改zoo.cfg配置文件，新增配置server.1=centos00:2888:3888,server.2=centos00:2888:3888,server.3=centos00:2888:3888，在用户文件夹~下创建zookeeper/myid 文件，myid内容为Server.后的id，即centos00的myid内容为1，centos01为2,centos03为3 分别启动zookeeper，显示状态为下即为成功

 

部署hadoop HDFS的HA集群，使用zk实现自动容灾

1、停调hadoop所有进程，删除所有节点日志和本地数据(保持数据一致性)

2、配置hdfs-site.xml如下：

<configuration>
<!--副本数 -->
<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>
<!--退役节点 -->
<property>
        <name>dfs.hosts.exclude</name>
        <value>/soft/hadoop/etc/dfs.hosts.exclude.txt</value>
</property>
<!--集群协议名称 -->
<property>
	<name>dfs.nameservices</name>
	<value>mycluster</value>
</property>
<!-- myucluster下的名称节点两个id -->
<property>
	<name>dfs.ha.namenodes.mycluster</name>
	<value>nn1,nn2</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn1</name>
	<value>centos00:8020</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn2</name>
	<value>centos04:8020</value>
</property>
<property>
	<name>dfs.namenode.http-address.mycluster.nn1</name>
	<value>centos00:50070</value>
</property>
<property>
	<name>dfs.namenode.http-address.mycluster.nn2</name>
	<value>centos04:50070</value>
</property>
<property>
	<name>dfs.namenode.shared.edits.dir</name>
	<value>qjournal://centos01:8485;centos02:8485;centos03:8485/mycluster</value>
</property>
<property>
	<name>dfs.client.failover.proxy.provider.mycluster</name>
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<property>
	<name>dfs.ha.fencing.methods</name>
	<value>
			sshfence
			shell(/bin/true)
	</value>
</property>
<!--私钥 -->
<property>
	<name>dfs.ha.fencing.ssh.private-key-files</name>
	<value>/home/mc/.ssh/id_rsa</value>
</property>
<!--集群协议 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://mycluster</value>
</property>

<property>
	<name>dfs.journalnode.edits.dir</name>
	<value>/home/mc/hadoop/journal</value>
</property>
<!--容灾自动配置 -->
<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>
</configuration>

 3、配置yarn-site.xml如下：（若不需要RM的容灾可不配置）

<configuration>
<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>20480</value>
</property>
<property>
   <name>yarn.scheduler.minimum-allocation-mb</name>
   <value>2048</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property>

<property>
	<name>yarn.resourcemanager.ha.enabled</name>
	<value>true</value>
</property>
<property>
	<name>yarn.resourcemanager.cluster-id</name>
	<value>cluster1</value>
</property>
<property>
	<name>yarn.resourcemanager.ha.rm-ids</name>
	<value>rm1,rm2</value>
</property>
<property>
	<name>yarn.resourcemanager.hostname.rm1</name>
	<value>centos00</value>
</property>
<property>
	<name>yarn.resourcemanager.hostname.rm2</name>
	<value>centos04</value>
</property>
<property>
	<name>yarn.resourcemanager.webapp.address.rm1</name>
	<value>centos00:8088</value>
</property>
<property>
	<name>yarn.resourcemanager.webapp.address.rm2</name>
	<value>centos04:8088</value>
</property>
<!-- zk 地址 -->
<property>
	<name>yarn.resourcemanager.zk-address</name>
	<value>centos00:2181,centos01:2181,centos02:2181</value>
</property>

</configuration>

3.配置 core-site.xml

<configuration>

<property>
		<name>fs.defaultFS</name>
		<value>hdfs://mycluster/</value>
</property>

<property>
	<name>hadoop.tmp.dir</name>
	<value>/home/mc/hadoop</value>
</property>
<!-- zk地址 -->
<property>
	<name>ha.zookeeper.quorum</name>
	<value>centos01:2181,centos02:2181,centos03:2181</value>
</property>
</configuration>

4、分别登录centos01，centos02，centso3 启动JN进程

5、登录centos00 名称节点 格式化文件系统

$>hadoop namenode -format

6、复制centos00上dfs目录下的nn元数据库到centos04

7、启动centos00名称节点

8、登录未格式化的NN（centos04）节点上做standby引导

hdfs namenode -bootstrapStandby

9、登录centos00，将centos00的edit日志初始化到JN节点

$>hdfs namenode -initializeSharedEdits

如执行提示 The directory is already locked 执行如下命令删掉锁即可

$rm /home/mc/hadoop/dfs/name/in_use.lock

10、启动所有数据节点

$>hadoop-daemons.sh start datanode

11、启动centos04 NN节点

$>hadoop-daemon.sh start namenode

12、查看50070 webui

13、到此 centos00 centos04 都是standby状态，准备工作就做完了，剩下就需要激活ZK控制

（以上如果发现步骤出现问题，查看hadoop/logs/ 日志）

14、停掉所有进程 

$>stop-all.sh

15、登录centos00机器，再ZK中初始化HA状态，执行命令完成会再ZK生成/hadoop-ha/mycluster节点

$>hdfs zkfc -formatZK

16、启动hdfs进程

$>start-dfs.sh

17、查询JPS进程 DFSZKFailoverController为ZK控制器进程

18.HDFS的HA就算完成了，

（以上如果发现步骤出现问题，查看hadoop/logs/ 日志）

19.执行命令 启动RM 的HA配置 另外一台需要手动启动

$>start-yarn.sh

20 查看当前所有进程，如下即成功，验证：

当centos00或者centos04其中一条机器挂掉，另一台将自动变成激活状态

可以kill -9 名称节点进程ID 进行测试，效果再webUI上查看

所有进程如下：