zookeeper是一个分布式调度应用,管理分布式环境中的数据,可以进行单机也可以进行集群或者伪集群。
主要解决分布式集群中应用系统的一致性问题,提供基于类似于文件系统的目录节点树方式的存储,但他不是用来专门存储数据的,他是来维护和监控存储的数据的状态变化。
zookeeper集群部署的话,重要一点,只要集群中存在超过一半的机器能够正常运行,那么整个集群就能正常服务。
官方建议集群一般给3台机器,如果在zookeeper集群中,希望 N 台机器down,那么部署就需要部署 2*N+1 台。
详情:http://www.cnblogs.com/cyfonly/p/5626532.html
安装详情参考:https://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/
zookeeper安装:
首先需要在java的环境下
zookeeper下载地址:wget http://mirrors.hust.edu.cn/apache/zookeeper/stable/zookeeper-3.4.10.tar.gz
1. 创建zookeeper安装位置:mkdir /data/ua/zookeeper
2. 解压:tar zxf zookeeper-3.4.10.tar.gz -C /data/ua/zookeeper
3. 把zookeeper添加到环境变量:
echo 'export ZOOKEEPER_HOME=/data/ua/zookeeper' >> /etc/profile
echo 'export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf' >> /etc/profile
source /etc/profile
2)创建zookeeper存储文件位置与日志文件
mkdir /data/ua/zookeeper/data
mkdir /data/ua/zookeeper/log
mv /data/ua/zookeeper/conf/zoo_sample.cfg /data/ua/zookeeper/conf/zoo.cfg
3)修改zoo.cfg文件
vim /data/ua/zookeeper/conf/zoo.cfg
dataDir=/data/ua/zookeeper/data
dataLogDir=/data/ua/zookeeper/log
server.1=10.51.232.167:2888:3888
server.2=10.80.176.89:2888:3888
server.3=10.27.68.220:2888:3888
也可以把这块的IP配置成域名,如果设置为域名,必须是要解析到当前机器的,或者是在3台机器的hosts文件里面对域名IP进行解析
4. 创建serverID标识,配置myid文件,该文件需放在datadir目录下
需要在三台机器上都创建 /data/ua/zookeeper/data/ 这个目录,把1,2,3分别写入三台对应的机器文件中echo 1 > /data/ua/zookeeper/data/myid
echo 2 > /data/ua/zookeeper/data/myid
echo 3 > /data/ua/zookeeper/data/myid
5. 启动zookeeper
/data/ua/zookeeper/bin/zkServer.sh start
6. 查看zookeeper的状态
/data/ua/zookeeper/bin/zkServer.sh status
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
关于zookeeper的配置文件zoo.cfg里面的一些参数的说明:
单机:
1. ticktime=2000 是zookeeper服务器与客户端之间维持心跳的间隔,每隔一个ticktime时间就会发送一次心跳。
2. dataDir=/data/ua/zookeeper/data zookeeper保存数据的目录,默认情况日志也会保存在此,也可以分开。
dataLogDir=/data/ua/zookeeper/log
集群:
1. initLimit=10 这个配置项是用来配置Zookeeper接受客户端(这里所说的客户端不是用户连接 Zookeeper 服务器的客户端,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)
初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 20 个心跳的时间(也就是 tickTime)长度后 Zookeeper 服务器还没有收到客户端的返回信息,
那么表明这个客户端连接失败。总的时间长度就是 10*2000=20 秒
2. syncLimit=5 这个配置项标识 Leader 与 Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是 5*2000=10秒
3. sevice.A=B:C:D
server.1=10.51.232.167:2888:3888
server.2=10.80.176.89:2888:3888
server.3=10.27.68.220:2888:3888
A是一个数字,代表第几号服务器,B是服务器IP,C是这个服务器与集群中的 Leader 服务器交换信息的端口
D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。
4. 在搭建集群是,除了修改zoo.cfg的配置文件,还需要配置一个myid文件,该文件在dataDir目录下,myid文件里面
就只有一个值,就是A值。