大数据开发教程——ZooKeeper分布式协调组件

ZooKeeper是什么?

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase,Flink的重要组件。中文名:动物管理员
它是一个为分布式应用提供一致性服务的软件。

ZooKeeper提供的功能包括:

配置维护、域名服务、分布式同步、组服务等。zookeeper简化了分布式应用的 管理和部署,开发人员只需要专注于业务的开发,而不用担心应用服务的分布式特性。
Apache ZooKeeper致力于开发和维护开源服务器,以实现高度可靠的分布式协调服务。

ZooKeeper网址:

官网地址: http://ZooKeeper.apache.org/
官网快速开始地址: Because Coordinating Distributed Systems is a Zoo
官网API地址: http://ZooKeeper.apache.org/doc/r3.4.10/api/index.html

ZooKeeper典型应用场景

  • 提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。
命名服务
  • 在分布式环境下,经常需要对应用/服务进行统一命名,便于识别。
统一配置管理
  • 在分布式环境下,配置文件同步很常见。
  • 要求在一个集群中,所有节点的配置信息是一致的,对配置文件修改后,能够快速同步 到各个节点上。
  • 配置文件内容可以给zookeeper进行管理,将配置信息写到znode,然后通过客户端监听 znode
集群管理
  • Zookeeper可以实现实时监控节点的状态变化
  • NameNode的HA机制就是基于Zookeeper来实现的
  • HBase的HA也是基于Zookeeper
  • Flink里面的心跳检车也用到Zookeeper
分布式锁

有了 ZooKeeper 的一致性文件系统,锁的问题变得容易。锁服务可以分为两三类
一个是写锁,对写加锁,保持独占,或者叫做排它锁,独占锁
一个是读锁,对读加锁,可共享访问,释放锁之后才可进行事务操作,也叫共享锁
一个是控制时序,叫时序锁
对于第一类,我们将 ZooKeeper 上的一个znode看作是一把锁,通过 createznode() 的方式来实 现。所有客户端都去创建 /distribute_lock 节点,最终成功创建的那个客户端也即拥有了这把 锁。用完删除掉自己创建的 /distribute_lock 节点就释放出锁。
对于第二类,/distribute_lock 已经预先存在,所有客户端在它下面创建临时顺序编号目录节 点,和选 Master 一样,编号最小的获得锁,用完删除,依次有序。

队列管理
  • 两种类型的队列:
    1、同步队列:当一个队列的成员都聚齐时,这个队列才可用,否则一直等待所有成员到
    达。
    2、先进先出队列:队列按照 FIFO 方式进行入队和出队操作。
  • 第一类,在约定目录下创建临时目录节点,监听节点数目是否是我们要求的数目。
  • 第二类,和分布式锁服务中的控制时序场景基本原理一致,入列有编号,出列按编号。
  • 缺点:zookeeper不太适合存储大量的数据和支持高频的数据读写。
  • kafka0.8版本版本之前offset是保存在zookeeper的,0.8以上的版本是保存在kafka自己的topic(__consumer)

ZooKeeper集群安装

下载地址

下载地址:http://mirrors.hust.edu.cn/apache/zookeeper/
版本号:zookeeper-3.4.14.tar.gz

解压缩安装到自己的安装目录
命令:tar -zxvf zookeeper-3.4.14.tar.gz -C ../install/
修改配置文件【集群参数配置】
第一步:复制配置文件:
cp zoo_sample.cfg zoo.cfg 
vi zoo.cfg
第二步:修改配置文件 
tickTime=2000 
initLimit=10 
syncLimit=5
dataDir=/root/install/zookeeper-3.4.14/data 
dataLogDir=/root/install/zookeeper-3.4.14/log 
clientPort=2181
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888 
server.3=hadoop3:2888:3888
第三步:分发安装包到其他节点
scp -r zookeeper-3.4.14/ hadoop2:/root/install/ 
scp -r zookeeper-3.4.14/ hadoop3:/root/install/
第四步:添加服务器id
在dataDir指定的数据目录里面新建一个文件,文件名叫myid,里面存放的内容就是服务器的server.id
hadoop1 echo 1 > myid
hadoop2 echo 2 > myid
hadoop3 echo 3 > myid

免费获取就业指导/面试技巧/技术提升

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值