hadoop2.6.5 ha搭建

用到命令：

tar -zxvf hadoop-2.6.5.tar.gz //解压

ln -sf /root/soft/hadoop-2.6.5 /home/hadoop-2.6 //软连接

1.集群设计

1.修改hadoop-env.sh

2.在hdfs-size.xml中配置

• 集群ID

dfs.nameservices huishen

• namenodeID

dfs.ha.namenodes.huishen nn1,nn2

• rpc协议配置(基于二进制的网络传输协议，hadoop各个节点之间都使用该协议进行数据传输)

dfs.namenode.rpc-address.huishen.nn1 node1:8020 dfs.namenode.rpc-address.huishen.nn2 node2:8020

• http协议配置（显示网页）

dfs.namenode.http-address.huishen.nn1 node1:50070 dfs.namenode.http-address.huishen.nn2 node2:50070

• 配置journalnode的url

dfs.namenode.shared.edits.dir qjournal://node2:8485;node3:8485;node4:8485/huishen

• 配置客户端连接Namenode的java类

dfs.client.failover.proxy.provider.huishen org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

• 免密码登录配置

dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key-files /root/.ssh/id_dsa

• 配置journalnode工作目录

dfs.journalnode.edits.dir /opt/jn/data

• 自动切换

dfs.ha.automatic-failover.enabled true

3.配置core-size.xml

• 配置客户端访问集群的入口

fs.defaultFS

hdfs://huishen

• zk配置

ha.zookeeper.quorum node1:2181,node2:2181,node3:2181

• 配置hadoop工作目录

hadoop.tmp.dir /opt/hadoop01

4,slave中配置datanode节点

slaves

node2

node3

node4

5.启动hadoop流程

• 先启动journalnode(hadoop-daemon.sh start journalnode)
• 格式化namenode(hdfs namenode -format)
• 同步namenode初始化源数据到另一个namenode节点（./hdfs namenode -bootstrapStandby）

同步前要先启动格式化过的节点(./hadoop-daemon.sh start namenode)

• 在hadoop上格式化zk,并启动 (hdfs zkfc -formatZK)。

，

6.zookeeper安装配置流程

• 配置conf/zoo.cfg

server.1=node1:2888:3888

server.2=node2:2888:3888

server.3=node3:2888:3888

• 在工作目录建立一个文件，文件内容是节点的ID

• 配置环境变量，方便启动zk
• 配置好后把zookeeper拷贝到其他两个节点，环境变量配置文件也一并拷贝过去，同事source /etc/profile，就可以启动了。

yarn resourcemanager 启动命令

yarn-daemon.sh start resourcemanager /