Zookeeper

最新推荐文章于 2023-04-21 10:26:12 发布

元永真

最新推荐文章于 2023-04-21 10:26:12 发布

阅读量348

点赞数

本文链接：https://blog.csdn.net/weixin_37855495/article/details/62233610

版权

hadoop学习总结专栏收录该内容

32 篇文章 0 订阅

订阅专栏

1 Zookeeper？

» Zookeeper 是 Google 的 Chubb y 一个开源的实现，是 Hadoop 的分布式协调服务

» 它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等

»大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程（如资源、任务分配等）

»目前，大部分应用需要开发私有的协调程序，缺乏一个通用的机制

»协调程序的反复编写浪费，且难以形成通用、伸缩性好的协调器

»ZooKeeper：提供通用的分布式锁服务，用以协调分布式应用

»Hadoop2.0,使用Zookeeper的事件处理确保整个集群只有一个活跃的NameNode,存储配置信息等.

»HBase,使用Zookeeper的事件处理确保整个集群只有一个HMaster,察觉HRegionServer联机和宕机,存储访问控制列表等.

2 Zookeeper 的读写机制

»Zookeeper是一个由多个server组成的集群

»一个leader，多个follower

»每个server保存一份数据副本

»全局数据一致

»分布式读写

»更新请求转发，由leader实施

==================================================

Zookeeper 配置：

zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg，需要将其修改为zoo.cfg。其中各配置项的含义，解释如下：

1.tickTime：CS通信心跳时间
Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。
tickTime=2000

2.initLimit：LF初始通信时限
集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数（tickTime的数量）。
initLimit=5

3.syncLimit：LF同步通信时限
集群中的follower服务器与leader服务器之间请求和应答之间能容忍的最多心跳数（tickTime的数量）。
syncLimit=2

4.dataDir：数据文件目录
Zookeeper保存数据的目录，默认情况下，Zookeeper将写数据的日志文件也保存在这个目录里。
dataDir=/home/michael/opt/zookeeper/data

5.clientPort：客户端连接端口
客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。
clientPort=2181

6.服务器名称与地址：集群信息（服务器编号，服务器地址，LF通信端口，选举端口）
这个配置项的书写格式比较特殊，规则如下：
server.N=YYY:A:B
==========================================================================

Zookeeper笔记：

1.上传zk安装包

2.解压

3.配置（先在一台节点上配置）
   3.1添加一个zoo.cfg配置文件
   $ZOOKEEPER/conf
   mv zoo_sample.cfg zoo.cfg

   3.2修改配置文件（zoo.cfg）
       dataDir=/itcast/zookeeper-3.4.5/data

       server.5=itcast05:2888:3888
       server.6=itcast06:2888:3888
       server.7=itcast07:2888:3888

   3.3在（dataDir=/itcast/zookeeper-3.4.5/data）创建一个myid文件，里面内容是server.N中的N（server.2里面内容为2）
       echo "5" > myid

   3.4将配置好的zk拷贝到其他节点
       scp -r /itcast/zookeeper-3.4.5/ itcast06:/itcast/
       scp -r /itcast/zookeeper-3.4.5/ itcast07:/itcast/

   3.5注意：在其他节点上一定要修改myid的内容
       在itcast06应该讲myid的内容改为6 （echo "6" > myid）
       在itcast07应该讲myid的内容改为7 （echo "7" > myid）

4.启动集群
   分别启动zk
       ./zkServer.sh start