Hadoop 高可用配置

HA:

high availability,高可用
    1.NFS        网络共享存储设备。

    2.QJM        Quorum Journal Manager

    3.两个名称节点
        active            //激活
        standby            //待命


SPOF :    single point of failure,单点故障。

HA高可用配置

两个名称节点,一个active(激活态),一个是standby(slave待命),slave节点维护足够多状态以便于容灾。
    和客户端交互的active节点,standby不交互.
    两个节点都和JN守护进程构成组的进行通信。

    数据节点配置两个名称节点,分别报告各自的信息。

    同一时刻只能有一个激活态名称节点。

    脑裂:两个节点都是激活态。
    为防止脑裂,JNs只允许同一时刻只有一个节点向其写数据。容灾发生时,成为active节点的namenode接管
    向jn的写入工作。

硬件资源

名称节点:    硬件配置相同。
    JN节点    :    轻量级进程,至少3个节点,允许挂掉的节点数 (n - 1) / 2.
                不需要再运行辅助名称节点。

配置细节

s201和s206具有完全一致的配置,尤其是ssh.

	1.配置nameservice
		[hdfs-site.xml]
		<property>
			<name>dfs.nameservices</name>
			<value>mycluster</value>
		</property>
		
	2.dfs.ha.namenodes.[nameservice ID]
		[hdfs-site.xml]
		<!-- myucluster下的名称节点两个id -->
		<property>
			<name>dfs.ha.namenodes.mycluster</name>
			<value>nn1,nn2</value>
		</property>

	3.dfs.namenode.rpc-address.[nameservice ID].[name node ID] 
		[hdfs-site.xml]
		配置每个nn的rpc地址。
		<prop
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值