hdfs(ha)搭建文档---高可靠

1、防火墙
	service iptables stop
2、时间同步
	yum install ntp
	ntpdate -u s2c.time.edu.cn
	
	或者
	date -s 20180503

3、免密钥   (远程执行命令)
	在两个主节点生成密钥文件
	ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
	ssh-copy-id ip

	master-->master,node1,node2
	node1-->master,node1,node2

4、修改hadoop配置文件
	core-site.xml
	hdfs-site.xml

	同步到其它节点
		 scp * node1:`pwd`
		 scp * node2:`pwd`

5、删除hadoop数据存储目录下的文件  每个节点都需要删除
	 rm -rf /usr/local/soft/hadoop-2.6.0/tmp

6、启动zookeeper  三台都需要启动
	zkServer.sh start
	zkServer.sh status

7、启动JN   存储hdfs元数据
 	三台JN上执行 启动命令: 
 	hadoop-daemon.sh start journalnode

 8、格式化 在一台NN上执行
	  hdfs namenode -format
	  启动当前的NN
	  hadoop-daemon.sh start namenode


9、执行同步 没有格式化的NN上执行  在另外一个namenode上面执行
	hdfs namenode -bootstrapStandby


10、格式化ZK   在已经启动的namenode上面执行
	!!一定要先 把zk集群正常 启动起来
	  hdfs zkfc -formatZK

11、启动hdfs集群,在启动了namenode的节点上执行
	start-dfs.sh




yarn  高可用
1、修改配置文件
	yarn-site.xml
	mapred-site.xml
	
	同步到所有节点

2、启动yarn   在master启动
	start-yarn.sh

3、在另外一台主节点上启动RM
	yarn-daemon.sh start resourcemanager
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值