Zookeeper集群搭建

Zookeeper集群搭建

一、Zookeeper原理简介
Zookeeper 是一个开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。
Zookeeper设计目的

• 最终一致性：client 不论连接到那个server，展示给它的都是同一个视图。
• 可靠性：具有简单、健壮、良好的性能，如果消息m被到一台服务器接收，那么消息m将被所有的服务器接收。
• 实时性：zookeeper 保证客户端将在一个时间间隔范围内获得服务器的更新信息，或者服务器失效的信息。但是由于网络延时的原因，zookeeper不能保证两个客户端能同时得到刚更新的数据，如果需要更新数据，应该在读数据之前调用sync（）接口
• 等待无关（wait-free）：慢的或者失效的client不得干预快速的client的请求，使得每个client都能有效的等待。
• 原子性：更新只能成功或者失败，没有中间状态。
• 顺序性：包括全局有序和偏序两种：全局有序是指如果在一台服务器上消息a在消息b前发布，则在所有Server上消息a都将在消息b前被发布；偏序是指如果一个消息b在消息a后被同一个发送者发布，a必将排在b前面。

Zookeeper工作原理
1、在zookeeper的集群中，各个节点共有下面3种角色和4种状态：

角色：leader,follower,observer
状态：leading,following,observing,looking

Zookeeper的核心是原子广播，这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议（ZooKeeper Atomic Broadcast protocol）。Zab协议有两种模式，它们分别是恢复模式（Recovery选主）和广播模式（Broadcast同步）。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数Server完成了和leader的状态同步以后，恢复模式就结束了。状态同步保证了leader和Server具有相同的系统状态。

为了保证事务的顺序一致性，zookeeper采用了递增的事务id号（zxid）来标识事务。所有的提议（proposal）都在被提出的时候加上了zxid。实现中zxid是一个64位的数字，它高32位是epoch用来标识leader关系是否改变，每次一个leader被选出来，它都会有一个新的epoch，标识当前属于那个leader的统治时期。低32位用于递增计数。

每个Server在工作过程中有4种状态：

LOOKING：当前Server不知道leader是谁，正在搜寻。

LEADING：当前Server即为选举出来的leader。

FOLLOWING：leader已经选举出来，当前Server与之同步。

OBSERVING：observer的行为在大多数情况下与follower完全一致，但是他们不参加选举和投票，而仅仅接受(observing)选举和投票的结果。
Zookeeper集群节点

• Zookeeper节点部署越多，服务的可靠性越高，建议部署奇数个节点，因为zookeeper集群是以宕机个数过半才会让整个集群宕机的。

• 需要给每个zookeeper 1G左右的内存，如果可能的话，最好有独立的磁盘，因为独立磁盘可以确保zookeeper是高性能的。如果你的集群负载很重，不要把zookeeper和RegionServer运行在同一台机器上面，就像DataNodes和TaskTrackers一样。
  二、zookeeper的安装
  Zookeeper链接：zookeeper
  1.将下载好的jar包上传到linux虚拟机上
  2.进行解压zookeeper-3.4.5.tar.gz tar -zxvf zookeeper-3.4.5.tar.gz
  3.cd zookeeper-3.4.5
  4.cd conf/zoo_sample.cfg
  5.将zoo_sample.cfg 进行改名 mv zoo_sample.cfg zoo.cfg
  6.vim /etc/profile 下进行改配置环境

  export ZOOKEEPER_HOME=/root/Downloads/zookeeper-3.4.5
  export PATH=$PATH:$ZOOKEEPER_HOME/bin
  

  
  配置完以后呀记得 source /etc/profile
  三、Zookeeper集群配置 (其他机器也需要配置)
   注意：搭建zookeeper集群时，一定要先停止已经启动的zookeeper节点。
  Zookeeper配置文件修改

  • cd zookeeper-3.4.5
  • cd conf
  • vim zoo.fig
    
    配置参数说明

tickTime这个时间是作为zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是说每个tickTime时间就会发送一个心跳。

initLimit这个配置项是用来配置zookeeper接受客户端（这里所说的客户端不是用户连接zookeeper服务器的客户端,而是zookeeper服务器集群中连接到leader的follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。

当已经超过10个心跳的时间（也就是tickTime）长度后 zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 10*2000=20秒。

syncLimit这个配置项标识leader与follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度,总的时间长度就是5*2000=10秒。

dataDir顾名思义就是zookeeper保存数据的目录,默认情况下zookeeper将写数据的日志文件也保存在这个目录里；

clientPort这个端口就是客户端连接Zookeeper服务器的端口,Zookeeper会监听这个端口接受客户端的访问请求；

server.A=B:C:D中的A是一个数字,表示这个是第几号服务器,B是这个服务器的IP地址，C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口，D是在leader挂掉时专门用来进行选举leader所用的端口。

创建ServerID标识
除了修改zoo.cfg配置文件外,zookeeper集群模式下还要配置一个myid文件,这个文件需要放在data目录下。

这个文件里面有一个数据就是A的值（该A就是zoo.cfg文件中server.A=B:C:D中的A）,在zoo.cfg文件中配置的dataDir路径中创建myid文件。

• 在目录zookeeper-3.4.5下创建一个data
• 在data下创建一个myid文件 vim myid 每台机器都得设置 第几台机器写数字几
  
• 在目录zookeeper-3.4.5下创建一个logs
• 设置完以后启动zookeeper zkServer.sh start 每台机器单独启动
• zkServer.sh status 查看zookeeper的状态 机器全部启动起来才会显示

命令、
zkCli.sh链接客户端
zkServer.sh start 启动
zkServer.sh stop 关闭zookeeper
zkServer.sh status(leader：主节点通过选取机制得到，follower子节点)
Get /zookeeper状态

Set /zookeeper 45678 挂数据 设置子节点数据
Create /text1 123创建 (123是挂的数据，不挂数据不能创建成功)
Create -s /text1 123 可以创重复文件系统会默认分配文件夹编号
Create -e 创建临时文件（机器重启（zkServier.sh restart）消失）
rmr /text1 强制删除
Setquota -n 3 /text1 限定创建子文件数量
Listquota /text1 子目录的数量和长度