HDFS集群搭建(HA)与启动

本文档详细介绍了如何使用Zookeeper搭建HDFS HA集群,包括配置NameService ID、定义两个NameNode、编辑hdfs-site.xml和core-site.xml文件,设置JournalNode,格式化NameNode,拷贝fsimage文件,初始化Zookeeper,以及启动HDFS集群的步骤。过程中需要注意FailoverController的日志检查,以确保集群正常运行。
摘要由CSDN通过智能技术生成

在文章http://blog.csdn.net/u013063153/article/details/73611549写到了非HA集群的搭建。

现利用Zookeeper做HA,搭建HDFS集群。需要修改之前的配置。

1.进入etc/hadoop/目录,干掉masters文件(此文件是存放Secondary NameNode的)

cd etc/hadoop/

rm -rf /home/hadoop-2.5.1/etc/hadoop/masters


2.删除数据文件(/opt/hadoop-2.5)

rm -rf /opt/hadoop-2.5


3.编辑hdfs-site.xml

vim hdfs-site.xml

删除之前的所有操作

:.,$-1d

(1)配置NameService ID,目的是在zookeeper中区分不同的服务,value名字随便取,比如此处写个myhdfscluster

<property>

  <name>dfs.nameservices</name>

  <value>myhdfscluster</value>

</property>

(2)定义两个NameNode

<property>

  <name>dfs.ha.namenodes.myhdfscluster</name>

  <value>nn1,nn2</value>

</property>

<property>

  <name>dfs.ha.namenode.rpc-address.myhdfscluster.nn1</name>

  <value>node1:8020</value>

</property>

<p

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值