hadoop2.7配置HA,使用zk和journal

本文详细介绍了如何将Hadoop 2.7集群从无高可用(NoHA)状态配置为高可用(HA)状态,主要涉及ZooKeeper(ZK)的配置,JournalNode的使用,以及ResourceManager(RM)的HA设置。通过这些步骤,实现了NameNode的自动故障切换,并确保了元数据的安全同步。然而,在实际操作中发现ResourceManager的HA并未生效。
摘要由CSDN通过智能技术生成

本文使用前提:从noha到ha

zk作用:维护共享锁保证只有一个active的nn

journal:在两个nn间同步元数据

机器分配:

nn1 namenode,DFSZKFailoverController
nn2 namenode,DFSZKFailoverController
slave1 datanode,zookeeper,journalnode
slave2 datanode,zookeeper,journalnode
slave3 datanode,zookeeper,journalnode


1、  配置core-site.xml,添加zk

<property>
       <name>ha.zookeeper.quorum</name>       <value>slave1:2181,slave2:2181,slave3:2181</value>
</property>

2、配置  hdfs-site.xml

<!--指定hdfs的nameservice为masters,需要和core-site.xml中的保持一致 -->
        <property>
               <name>dfs.nameservices</name>
               <value>masters</value>
        </property>
        <!-- masters下面有两个NameNode,分别是nn1,nn2-->
        <property>
               <name>dfs.ha.namenodes.masters</name>
               <value>
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值