大数据(六) - ZooKeeper

        是一个针对大型分布式系统的可靠协调系统;
        提供的功能包括:配置维护、名字服务、分布式同步、组服务等;
        目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户;
        Zookeeper已经成为 Hadoop生态系统中的基础组件。

Zookeeper特点
        最终一致性:为客户端展示同一视图,这是zookeeper最重要的功能。
        可靠性:如果消息被到一台服务器接受,那么它将被所有的服务器接受。
        实时性: Zookeeper不能保证两个客户端能同时得到刚更新的数据,如果需要最新数据,应该在读数据之前调用sync()接口。
        等待无关(wait-free):慢的或者失效的client不干预快速的client的请求。
        原子性:更新只能成功或者失败,没有中间状态。
        顺序性:所有Server,同一消息发布顺序一致。

Zookeeper 架构
        每个Server在内存中存储了一份数据;
        Zookeeper启动时,将从实例中选举一个leader(Paxos协议);
        Leader负责处理数据更新等操作(Zab协议);
        一个更新操作成功,当且仅当大多数Server在内存中成功修改数据。

其中的角色包括:


Zookeeper Server数目一般为奇数
        Leader选举算法采用了Paxos协议;
        Paxos核心思想:当多数Server写成功,则任务数据写成功
                如果有3个Server,则两个写成功即可;
                如果有4或5个Server,则三个写成功即可。
        Server数目一般为奇数(3、5、7)
                如果有3个Server,则最多允许1个Server挂掉;
                如果有4个Server,则同样最多允许1个Server挂掉
                既然如此,为啥要用4个Server?

Zookeeper 数据写流程


Zookeeper数据模型
        层次化的目录结构,命名符合常规文件系统规范;
        每个节点在 zookeeper中叫做znode,并且其有一个唯一的路径标识;
        节点Znode可以包含数据和子节点(EPHEMERAL类型的节点不能有子节点);
        Znode中的数据可以有多个版本,比如某一个路径下存有多个数据版本,那么查询这个路径下的数据需带上版本;
        客户端应用可以在节点上设置监视器(Watcher);
        节点不支持部分读写,而是一次性完整读写。
        Znode有两种类型,短暂的(ephemeral)和持久的(persistent);
        Znode的类型在创建时确定并且之后不能再修改;
        短暂znode的客户端会话结束时, zookeeper会将该短暂znode删除,短暂znode不可以有子节点;
        持久znode不依赖于客户端会话,只有当客户端明确要删除该持久znode时才会被删除;
        Znode有四种形式的目录节点,PERSISTENT、PERSISTENT_SEQUENTIAL、EPHEMERAL、EPHEMERAL_SEQUENTIAL。


Zookeeper应用场景
         统一命名服务
                分布式环境下,经常需要对应用/服务进行统一命名,便于识别不同服务;
                        类似于域名与ip之间对应关系,域名容易记住;
                        通过名称来获取资源或服务的地址,提供者等信息
                按照层次结构组织服务/应用名称
                        可将服务名称以及地址信息写到 Zookeeper上,客户端通过 Zookeeper获取可用服务列表类
         配置管理
                分布式环境下,配置文件管理和同步是一个常见问题;
                        一个集群中,所有节点的配置信息是一致的,比如Hadoop;
                        对配置文件修改后,希望能够快速同步到各个节点上
                配置管理可交由Zookeeper实现;
                        可将配置信息写入Zookeeper的一个znode上;
                        各个节点监听这个znode
                        一旦znode中的数据被修改,zookeeper将通知各个节点
         集群管理
                分布式环境中,实时掌握每个节点的状态是必要的;
                        可根据节点实时状态作出一些调整;
                可交由Zookeeper实现;
                        可将节点信息写入Zookeeper的一个znode上;
                        监听这个znode可获取它的实时状态变化
                典型应用
                        Hbase中Master状态监控与选举
         分布式通知/协调
                分布式环境中,经常存在一个服务需要知道它所管理的子服务的状态;
                        NameNode须知道各DataNode的状态
                        JobTracker须知道各TaskTracker的状态
                心跳检测机制可通过Zookeeper实现;
                信息推送可由Zookeeper实现(发布/订阅模式)。
         分布式锁
                Zookeeper是强一致的;
                        多个客户端同时在Zookeeper上创建相同znode,只有一个创建成功。
                实现锁的独占性
                        多个客户端同时在Zookeeper上创建相同znode ,创建成功的那个客户端得到锁,其他客户端等待。
                控制锁的时序
                        各个客户端在某个znode下创建临时znode (类型为CreateMode.EPHEMERAL_SEQUENTIAL),这样,该znode可掌握全局访问时序。
         分布式队列
                两种队列;
                        当一个队列的成员都聚齐时,这个队列才可用,否则一直等待所有成员到达,这种是同步队列。
                        队列按照 FIFO 方式进行入队和出队操作,例如实现生产者和消费者模型。(可通过分布式锁实现)
                同步队列
                        一个job由多个task组成,只有所有任务完成后,job才运行完成。
                        可为job创建一个/job目录,然后在该目录下,为每个完成的task创建一个临时znode,一旦临时节点数目达到task总数,则job运行完成。

Zookeeper部署
        单机模式
         伪分布式模式(在单机上启动多个zookeeper实例,模拟分布式)
        分布式模式

Zookeeper API非常简单

Zookeeper Watcher
        Watcher 在 ZooKeeper 是一个核心功能
                可以监控目录节点的数据变化以及子目录的变化;
                一旦状态发生变化,服务器就会通知所有设置在这个目录节点上的 Watcher;
        基本特点
                一次设置对应一次触发
                异步触发
                顺序触发
        可以设置观察的操作:exists getChildren getData
        可以触发观察的操作:create delete setData

Zookeeper 实例
        更多实例
                https://github.com/sleberknight/zookeeper-samples/tree/master/src/main/java/com/nearinfinity/examples/zookeeper
        NetFlix贡献的Curator ZooKeeper客户端成为Apache顶级项目 http://curator.apache.org/index.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值