hadoop HA高可用集群搭建,ZooKeeper自动容灾

背景

因为hadoop集群只有一个namenode,如果机器或者进程不可用之后,整个集群就瘫痪了,namenode节点存在单点故障的问题。

HA架构

    通常一个典型的HA集群有两个namenode,在任一时刻只有一个namenode是active状态,另外一个namenode处于standby待命状态。active激活态的namenode负责客户端的操作,standby待命态扮演slave从节点的角色,最大程度的从active状态的namenode那里同步状态。

    standby namenode节点为了从active node同步状态,两个节点都跟一组独立的守护进程“JournalNodes”(JNs)通信。一个namenode变成active之后,它持久化记录变更record的logs到JNs的主节点。standby持续从JNs中读取edits编辑日志,当active namenode节点挂掉的时候,也就是failover容灾发生的时候,stanby确保它从JNs中读取了全部的edits编辑日志,转换自己成为active namenode。

    为了快速容灾,standby node会定期更新blocks块信息,dataNode数据节点会向两个节点都发送块信息和心跳。在任一时刻两个namenode中只有一个namenode处于active激活态,如果两个都是active状态namespace state名称空间状态就会分化成两个,造成数据丢失或其它错误(俗称“脑裂”)。JNs力保任一时刻只有一个namenode可以write写操作,failover容灾发生时standby状态node立刻担负起向JNs写操作的角色,同时会阻止另外一个namenode处于active状态。

配置文件

hdfs-site.xml

<!-- 名称服务的逻辑名,名称可以自定义 -->
<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>

<!-- 名称服务mycluster下的两个namenode名字分别叫nn1,nn2 -->
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>

<!-- nn1,nn2的rpc远程过程调用地址和端口-->
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>192.168.1.210:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>192.168.1.214:8020</value>
</property>

<!-- 两个名称节点nn1,nn2的webserver地址-->
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>192.168.1.210:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>192.168.1.214:50070</value>
</property>

<!-- 三台journalNodes节点的ip和名称服务名-->
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://192.168.1.211:8485;192.168.1.212:8485;192.168.1.213:8485/mycluster</value>
</property>

<!-- 配置名称服务mycluster的容灾代付服务类,不需要修改 -->
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!--容灾发生时,用于杀死原先active node,确保只有一个active态node-->
<!-- shell(/bin/true)确保防护方法最后返回成功 -->
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>
    sshfence
    shell(/bin/true)
  </value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/home/hadoop/.ssh/id_rsa</value>
</property>

<!-- journal node编辑日志目录-->
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/home/hadoop/journal/data</value>
</property>

【core-site.xml】

<!-- 在没指定路径前缀时,hdfs client使用的默认URI-->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>

部署

1. 三台journal node上分别执行以下命令 启动jn进程

hadoop-daemon.sh start journalnode

2.在两个NN之间进行disk元数据同步

    a).如果是全新集群,先format文件系统,只需要在一个nn上执行

hadoop namenode -format

    b).如果是非HA集群转换成HA集群,复制原NN上metadata元数据到新的NN2上

scp -r /home/hadoop/hadoop/tmp/dfs/name hadoop@192.168.1.214:/home/hadoop/hadoop/tmp/dfs/

    在新的nn(未格式化的nn)上运行一下命令,实现待命状态引导。

$>hdfs namenode -bootstrapStandby		//需要原NN为启动状态,提示是否格式化,选择N.

    在一个NN上执行以下命令,完成edit日志到jn节点的传输。

hdfs namenode -initializeSharedEdits

    启动所有节点

[机器1]
$>hadoop-daemon.sh start namenode		//启动名称节点
$>hadoop-daemons.sh start datanode		//启动所有数据节点
[机器2]
$>hadoop-daemon.sh start namenode		//启动名称节点

    启动所有节点(第二种方法)

start-dfs.sh

    启动之后,发现两个namenode都是standby状态,需要下面HA管理命令切换一台为active状态。



nn1切换成激活态

hdfs haadmin -transitionToActive nn1

HA管理

-----------------
//切换成激活态
$>hdfs haadmin -transitionToActive nn1
//切换成待命态
$>hdfs haadmin -transitionToStandby nn1
//强行变成激活态
$>hdfs haadmin -transitionToActive --forceactive nn2
//执行上面failover模拟容灾命令,nn1由active转换成standby,nn2由standby转换成active。
$>hdfs haadmin -failover nn1 nn2				//模拟容灾演示,从nn1切换到nn2
//把nn1,nn2的状态切换回来
$>hdfs haadmin -failover nn2 nn1
//查询nn1,nn2状态
$>hdfs haadmin -getServiceState nn1
$>hdfs haadmin -getServiceState nn2

    nameNode通过ZooKeeper自动容灾

介绍

自动容灾需要配置zookeeper集群,nameNode上启用zk容灾控制器(ZKFC)。zkfc进程负责nameNode节点的健康监控,session管理,选举。

修改配置

在集群停掉的情况下,修改 hdfs-site.xml

//启用自动容灾
<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>
core-site.xml
//配置core-site.xml,指定zk的连接地址.
<property>
	<name>ha.zookeeper.quorum</name>
	<value>es02:2181,es03:2181,es04:2181</value>
</property>

分发配置文件到所有的节点。

登录到一台nameNode节点上,初始化HA状态到zk集群(此时hdfs集群是停止状态,zk集群启动状态

//运行以下命令
>hdfs zkfc -formatZK
//然后启动整个hdfs集群,发现一台namenode是active,另外一台是standby做到了自动切换
>start-dfs.sh
//使用kill -9 杀掉一个namenode进程,另外一个自动变成active状态

resourceManager zk自动容灾

//配置RM的HA自动容灾
//----------------------
	//1.配置yarn-site.xml
<property>
	<name>yarn.resourcemanager.ha.enabled</name>
	<value>true</value>
</property>
<property>
	<name>yarn.resourcemanager.cluster-id</name>
	<value>cluster1</value>
</property>
<property>
	<name>yarn.resourcemanager.ha.rm-ids</name>
	<value>rm1,rm2</value>
</property>
<property>
	<name>yarn.resourcemanager.hostname.rm1</name>
	<value>s201</value>
</property>
<property>
	<name>yarn.resourcemanager.hostname.rm2</name>
	<value>s206</value>
</property>
<property>
	<name>yarn.resourcemanager.webapp.address.rm1</name>
	<value>s201:8088</value>
</property>
<property>
	<name>yarn.resourcemanager.webapp.address.rm2</name>
	<value>s206:8088</value>
</property>
<property>
	<name>yarn.resourcemanager.zk-address</name>
	<value>s201:2181,s202:2181,s203:2181</value>
</property>
	
	//2.使用管理命令
		//查看状态
		$>yarn rmadmin -getServiceState rm1
		//切换状态到standby
		$>yarn rmadmin -transitionToStandby rm1

	//3.启动yarn集群
		$>start-yarn.sh

	//4.hadoop没有启动两个resourcemanager,需要手动启动另外一个
		$>yarn-daemon.sh start resourcemanager

	//5.查看webui

	//6.做容灾模拟.
		kill -9

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值