hadoop集群搭建 journaldata


zjgm01    zk   qjournal  nn   zkfc

zjgm02    zk   qjournal  nn   zkfc

zjgm03    zk   qjournal   dn    rm   nm

	
说明:
	1.在hadoop2.0中通常由两个NameNode组成,一个处于active状态,另一个处于standby状态。Active NameNode对外提供服务,而Standby NameNode则不对外提供服务,仅同步active namenode的状态,以便能够在它失败时快速进行切换。
	hadoop2.0官方提供了两种HDFS HA的解决方案,一种是NFS,另一种是QJM。这里我们使用简单的QJM。在该方案中,主备NameNode之间通过一组JournalNode同步元数据信息,一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
	这里还配置了一个zookeeper集群,用于ZKFC(DFSZKFailoverController)故障转移,当Active NameNode挂掉了,会自动切换Standby NameNode为standby状态
	2.hadoop-2.2.0中依然存在一个问题,就是ResourceManager只有一个,存在单点故障,hadoop-2.4.1解决了这个问题,有两个ResourceManager,一个是Active,一个是Standby,状态由zookeeper进行协调
安装步骤:
	1.安装配置zooekeeper集群(在zjgm01上)
		1.1解压
			tar -zxvf zookeeper-3.4.5.tar.gz -C app/
		1.2修改配置
			cd /home/hadoop/app/zookeeper-3.4.5
		    新建   mkdir data
		
			cd /home/hadoop/app/zookeeper-3.4.5/conf
			
			mv zoo_sample.cfg zoo.cfg
			vi zoo.cfg
			修改:dataDir=/home/hadoop/app/zookeeper-3.4.5/data
			在最后添加:
			server.1=zjgm01:2888:3888
			server.2=zjgm02:2888:3888
			server.3=zjgm03:2888:3888
			保存退出
			在dat里面
			再创建一个空文件
			cd  /home/hadoop/app/zookeeper-3.4.5/data
			echo 1 > myid
		1.3将配置好的zookeeper拷贝到其他节点(首先分别在weekend06、weekend07根目录下创建一个weekend目录:mkdir /weekend)
			cd  /home/hadoop/app/
			scp -r zookeeper-3.4.5/ zjgm02:/home/hadoop/app/
			
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值