zjgm01 zk qjournal nn zkfc
zjgm02 zk qjournal nn zkfc
zjgm03 zk qjournal dn rm nm
说明:
1.在hadoop2.0中通常由两个NameNode组成,一个处于active状态,另一个处于standby状态。Active NameNode对外提供服务,而Standby NameNode则不对外提供服务,仅同步active namenode的状态,以便能够在它失败时快速进行切换。
hadoop2.0官方提供了两种HDFS HA的解决方案,一种是NFS,另一种是QJM。这里我们使用简单的QJM。在该方案中,主备NameNode之间通过一组JournalNode同步元数据信息,一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
这里还配置了一个zookeeper集群,用于ZKFC(DFSZKFailoverController)故障转移,当Active NameNode挂掉了,会自动切换Standby NameNode为standby状态
2.hadoop-2.2.0中依然存在一个问题,就是ResourceManager只有一个,存在单点故障,hadoop-2.4.1解决了这个问题,有两个ResourceManager,一个是Active,一个是Standby,状态由zookeeper进行协调
安装步骤:
1.安装配置zooekeeper集群(在zjgm01上)
1.1解压
tar -zxvf zookeeper-3.4.5.tar.gz -C app/
1.2修改配置
cd /home/hadoop/app/zookeeper-3.4.5
新建 mkdir data
cd /home/hadoop/app/zookeeper-3.4.5/conf
mv zoo_sample.cfg zoo.cfg
vi zoo.cfg
修改:dataDir=/home/hadoop/app/zookeeper-3.4.5/data
在最后添加:
server.1=zjgm01:2888:3888
server.2=zjgm02:2888:3888
server.3=zjgm03:2888:3888
保存退出
在dat里面
再创建一个空文件
cd /home/hadoop/app/zookeeper-3.4.5/data
echo 1 > myid
1.3将配置好的zookeeper拷贝到其他节点(首先分别在weekend06、weekend07根目录下创建一个weekend目录:mkdir /weekend)
cd /home/hadoop/app/
scp -r zookeeper-3.4.5/ zjgm02:/home/hadoop/app/
hadoop集群搭建 journaldata
最新推荐文章于 2023-06-24 00:52:52 发布