基于Zookeeper的路由和负载均衡实现思想

一)服务注册中心思想
图1
如上图所示,Zookeeper上的服务配置中心分成三层结构,最上面一层为根节点,用来聚集服务节点,通过他可以查询到所有的服务,而服务名称下挂载的是服务提供者的服务器地址。根节点和服务名称采用的是Zookeeper的持久节点(persistent),服务提供者的地址节点,采用的是非持久节点(ephemeral)。

服务提供者在启动时,将其提供的服务名称、服务器地址,以节点(Znode)的形式注册到服务配置中心。服务消费者通过服务配置中心来获得需要调用的服务名称节点下的机器列表节点。通过负载均衡算法,选取其中一台服务器调用。当服务器宕机或者下线时,由于Znode非持久节点(EPHEMERAL)的特性,相应的机器可以动态地从服务配置中心里移除,并触发服务消费者的watcher。在这个过程中,服务消费者只需要第一次调用服务时查询服务配置中心,然后将查询的服务信息缓存到本地,当服务地址列表变更时,变更行为会触发服务消费者注册的watcher,在watcher的回调事件中进行服务地址的修改。这种无中心化的结构,使得服务消费者在服务信息没有变更时,几乎不依赖配置中心,大大降低了服务配置中心的压力。
图2
当服务规模变大,服务之间的依赖变得越来越复杂时,服务之间的调用关系已非人力所能理清,很多时候我们不仅需要了解有哪些服务提供方,还需要知道有哪些服务消费者,以了解服务的调用情况。对比图1,图2增加了一层用来表示节点类型,每个服务包含两种节点类型,即consumer和provider。当服务消费者启动时,即在服务配置中心里,在其调用的所有服务的consumer节点下增加自己的机器地址,如图2所示。这样,只需要后台监控程序解析出对应服务的consumer节点的子节点,便能清楚地知道某一服务被哪些机器消费了。

二、实现代码
基于Zookeeper所实现的服务消费者获取服务提供者地址列表的部分代码如下

        String zkServerList="127.0.0.1:2181";
        String serviceName="serviceB";
        String servicePath="/configcenter/"+serviceName;//服务节点路径
        ZkClient zkClient=new ZkClient(zkServerList);
        List<String> serviceList=null;
        boolean serviceExists=zkClient.exists(servicePath);
        if(serviceExists){//服务存在,取服务地址
            serviceList=zkClient.getChildren(servicePath);
        }else{
            throw new RuntimeException("service not exist!");
        }
        //注册监听事件,服务列表节点变更时,重新获取
       zkClient.subscribeChildChanges(servicePath, new IZkChildListener() {
            public void handleChildChange(String parentPaths, List<String> currentChilds) throws Exception {
                serviceList=currentChilds;
            }
        });

服务提供者向Zookeeper集群注册服务的部分代码如下

       String zkServerList="127.0.0.1:2181";
        String rootPath="/configcenter/";//根节点路径
        String serviceName="serviceB";//服务名称

        ZkClient zkClient=new ZkClient(zkServerList);

        boolean rootExists=zkClient.exists(rootPath);
        if(!rootExists){
            zkClient.createPersistent(rootPath);
        }

        boolean serviceExists=zkClient.exists(rootPath+"/"+serviceName);
        if(!serviceExists){
            //创建服务节点
            zkClient.createPersistent(rootPath+"/"+serviceName);
        }
        //注册当前服务器,可以在节点的数据里面存放节点的权重
        InetAddress addr= InetAddress.getLocalHost();
        String ip=addr.getHostAddress().toString();//获得本机IP

        //创建当前服务器节点
        zkClient.createEphemeral(rootPath+"/"+serviceName+"/"+ip);
  • 2
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
什么是Zookeeper Zookeeper是一个分布式开源框架,提供了协调分布式应用的基本服务,它向外部应用暴露一组通用服务——分布式同步(Distributed Synchronization)、命名服务(Naming Service)、集群维护(Group Maintenance)等,简化分布式应用协调及其管理的难度,提供高性能的分布式服务ZooKeeper本身可以以单机模式安装运行,不过它的长处在于通过分布式ZooKeeper集群(一个Leader,多个Follower),基于一定的策略来保证ZooKeeper集群的稳定性和可用性,从而实现分布式应用的可靠性。 1、Zookeeper是为别的分布式程序服务的 2、Zookeeper本身就是一个分布式程序(只要有半数以上节点存活,zk就能正常服务) 3、Zookeeper所提供的服务涵盖:主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统> 一名称服务等 4、虽然说可以提供各种服务,但是zookeeper在底层其实只提供了两个功能: 管理(存储,读取)用户程序提交的数据(类似namenode中存放的metadata);  并为用户程序提供数据节点监听服务Zookeeper集群机制 Zookeeper集群的角色: Leader 和 follower  只要集群中有半数以上节点存活,集群就能提供服务 Zookeeper特性 1、Zookeeper:一个leader,多个follower组成的集群 2、全局数据一致:每个server保存一份相同的数据副本,client无论连接到哪个server,数据都是一致的 3、分布式读写,更新请求转发,由leader实施 4、更新请求顺序进行,来自同一个client的更新请求按其发送顺序依次执行 5、数据更新原子性,一次数据更新要么成功,要么失败 6、实性,在一定间范围内,client能读到最新数据 Zookeeper数据结构 1、层次化的目录结构,命名符合常规文件系统规范(类似文件系统)    2、每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识  3、节点Znode可以包含数据和子节点(但是EPHEMERAL类型的节点不能有子节点) 节点类型  a、Znode有两种类型: 短暂(ephemeral)(create -e /app1/test1 “test1” 客户端断开连接zk删除ephemeral类型节点)  持久(persistent) (create -s /app1/test2 “test2” 客户端断开连接zk不删除persistent类型节点) b、Znode有四种形式的目录节点(默认是persistent ) PERSISTENT  PERSISTENT_SEQUENTIAL(持久序列/test0000000019 )  EPHEMERAL  EPHEMERAL_SEQUENTIAL c、创建znode设置顺序标识,znode名称后会附加一个值,顺序号是一个单调递增的计数器,由父节点维护          d、在分布式系统中,顺序号可以被用于为所有的事件进行全局排序,这样客户端可以通过顺序号推断事件的顺序 Zookeeper应用场景 数据发布与订阅(配置中心) 发布与订阅模型,即所谓的配置中心,顾名思义就是发布者将数据发布到ZK节点上,供订阅者动态获取数据,实现配置信息的集中式管理和动态更新。例如全局的配置信息,服务服务框架的服务地址列表等就非常适合使用。 负载均衡 这里说的负载均衡是指软负载均衡。在分布式环境中,为了保证高可用性,通常同一个应用或同一个服务的提供方都会部署多份,达到对等服务。而消费者就须要在这些对等的服务器中选择一个来执行相关的业务逻辑,其中比较典型的是消息中间件中的生产者,消费者负载均衡。 消息中间件中发布者和订阅者的负载均衡,linkedin开源的KafkaMQ和阿里开源的 metaq都是通过zookeeper来做到生产者、消费者的负载均衡。这里以metaq为例如讲下: 生产者负载均衡:metaq发送消息的候,生产者在发送消息的候必须选择一台broker上的一个分区来发送消息,因此metaq在运行过程中,会把所有broker和对应的分区信息全部注册到ZK指定节点上,默认的策略是一个依次轮询的过程,生产者在通过ZK获取分区列表之后,会按照brokerId和partition的顺序排列组织成一个有序的分区列表,发送的候按照从头到尾循环往复的方式选择一个分区来发送消息。 消费负载均衡: 在消费过程中,一个消费者会消费一个或多个分区

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值