hadoop 2.5.2 完全分布式集群环境搭建 (2)

经过一番艰辛的过程,搭建好hadoop2.5.2的完全分布式集群环境,本文描述环境的搭建,后续文章将描述开发环境及HDFS API 及MapReduce例程编写及运行过程,转载请注明出处(http://blog.csdn.net/kylindai/article/details/46584637)

上一篇文章描述了 CentOS 7 及 JDK 环境的安装,本文描述 zookeeper 和 hadoop 服务器的安装过程

1. 安装ZooKeeper

集群规划是在 hadoop03, hadoop04, hadoop05 机器上安装zookeeper。
在 hadoop03上按如下顺序操作:
(1) 解压 zookeeper 到 /opt,并做链接 /usr/local/zookeeper

# tar xvfz zookeeper-3.4.6.tar.gz -C /opt
# ln -s /opt/zookeeper-3.4.6 /usr/local/zookeeper

(2) 创建zookeeper数据文件目录和日志文件目录

# cd /data
# mkdir zookeeper.data
# mkdir zookeeper.logs

注:/data 目录最好放在空间比较大的分区上,最好不要放到根分区上

(3) 修改zoo.cfg文件

# cd /usr/local/zookeeper/conf
# vi zoo.cfg

zoo.cfg 文件内容如下:

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper.data
dataLogDir=/data/zookeeper.logs
clientPort=2181
#autopurge.snapRetainCount=3
#autopurge.purgeInterval=1

server.1=hadoop03:2888:3888
server.2=hadoop04:2888:3888
server.3=hadoop05:2888:3888

因为之前我们配置好了服务器ssh免登陆,现在可以直接将安装好的zookeeper 复制到 hadoop04, hadoop05节点上。

# scp -r /opt/zookeeper-3.4.6 hadoop04:/opt
# scp -r /opt/zookeeper-3.4.6 hadoop05:/opt

然后在各节点上做好 /usr/local/zookeeper 的链接。

这里写图片描述

(4) 为每个zookeeper节点创建myid文件
在每个zookeeper节点的数据文件目录里,创建myid文件,hadoop03上文件的内容为1,hadoop04上为2,hadoop05上为3

# cd /data/zookeeper.data
# echo 1 > myid

2. 启动ZooKeeper

因为先前我们在 /etc/profile环境变量里配置了zookeeper的路径,所以现在可以直接启动zookeeper,在hadoop03上执行下列命令即可。

# zkServer.sh start

然后分别在hadoop04,hadoop05上也执行上述命令。

接下来查看下zookeeper进程及状态

# jps

可以看到QuorumPeerMain进程已经启动

这里写图片描述

看看zookeeper的状态

# zkServer.sh status

这里写图片描述

节点hadoop03上的zookeeper状态为 follower,为跟随者。

这里写图片描述

节点hadoop04上的zookeeper状态为 leader,为master,zookeeper的写操作都是由leader调度的,zookeeper的节点数要求为单数,只要半数+1个节点写成功,leader则认为写操作成功。

好,至此zookeeper服务器集群环境搭建好了,下一篇文章描述hadoop集群环境的搭建。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值