zk集群的负载均衡

前言:nginx可以进行反向代理、负载均衡、http服务、正向代理等,而zk可以通过其“目录”节点,进行负载均衡、分布式锁等。此文章简单讲解了zk的负载均衡实现。

如果不同意,邮我打脸   zwh_mc@sina.com   。

zookeeper是一个针对大型分布式系统的可靠的协调系统,提供的功能包括命名服务、配置维护、分布式同步、集群服务等。本文将着重介绍zookeeper的应用场景之一,负载均衡。

        分布式集群

由于zookeeper主要扮演的角色是分布式集群中的协调者,所以首先介绍一下分布式和集群的概念。简单来说,分布式是将一个完整的系统拆分

成多个能实现不同业务需求的系统分布在多个地方,而集群是只将业务需求相同系统或服务复杂多份放在不同的服务器实现负载均衡,减轻服务器压力。用个比喻来说,小饭店原来只有一个厨师,切菜洗菜备料炒菜全干。后来客人多了,厨房一个厨师忙不过来,又请了个厨师,两个厨师都能炒一样的菜,这两个厨师的关系是集群。为了让厨师专心炒菜,把菜做到极致,又请了个配菜师负责切菜,备菜,备料,厨师和配菜师的关系是分布式,一个配菜师也忙不过来了,又请了个配菜师,两个配菜师关系是集群。

与dubbo的配合

zookeeper在一个分布式集群中既可以作为服务注册中心,来协调几个业务需求不同的分布式服务,也可以在一个集群中实现负载均衡,最典型的实例是zookeeper与Dubbo的配合使用,dubbo是阿里巴巴的RPC框架(如果没有接触过,在本文中可以理解为webservice)。zookeeper 在dubbo组成的分布式服务中就实现了一个服务注册中心的角色,既可以实现分布式服务的协调功能也可以实现负载均衡的功能

如下图所示,把ZooKeeper作为一个服务的注册中心,在其中登记每个服务,每台服务器知道自己是属于哪个服务,在服务器启动时,自己向所属服务进行登记,这样,一个树形的服务结构就呈现出来了,根据这样一个树形服务结构,RPC服务的消费者可以很轻松的找到它所需求的服务信息。同时在一个service节点下可以注册多个业务逻辑相同的服务,以实现负载均衡。

负载均衡

 

zookeeper实现负载均衡其实原理很简单,zookeeper 的数据存储类似于liunx的目录结构。首先建立servers节点,并建立监听器监视servers子节点的状态(用于在服务器增添时及时同步当前集群中服务器列表)。在每个服务器启动时,在servers节点下建立子节点worker server(可以用服务器地址命名),并在对应的字节点下存入服务器的相关信息。这样,我们在zookeeper服务器上可以获取当前集群中的服务器列表及相关信息,可以自定义一个负载均衡算法,在每个请求过来时从zookeeper服务器中获取当前集群服务器列表,根据算法选出其中一个服务器来处理请求。

 

代码

serviceAProvider,和serviceBProvider是模拟提供相同服务service-A的集群 模拟IP地址分别为92.168.58.131,92.168.58.132,

zookeeper服务器地址为172.19.100.29:2181。

import org.I0Itec.zkclient.ZkClient;

import org.apache.zookeeper.data.Stat;


public class ServiceAProvider {


private String serviceName="service-A";


    public void init(){

        String severList="172.19.100.29:2181";

        String rootPath="/servers";

        ZkClient zk=new ZkClient(severList, 5000, 5000);

        if(!zk.exists(rootPath)){

            zk.createPersistent(rootPath);

        }

        if(!zk.exists(rootPath+"/"+serviceName)){

            zk.createPersistent(rootPath+"/"+serviceName);

        }


        //获取本服务器IP

        String ip="92.168.58.131";

        Stat stat=new Stat();

        zk.createPersistent(rootPath+"/"+serviceName+"/"+ip);

        System.out.println("znode:"+rootPath+"/"+serviceName+"/"+ip+"创建完成");
    }


    //提供服务

    public void provide(){


    }


    public static void main(String[]args) throws Exception {

        ServiceAProvider service = new ServiceAProvider();

        service.init();


        Thread.sleep(1000*60*60*24);

    }

}
import org.I0Itec.zkclient.ZkClient;

import org.apache.zookeeper.data.Stat;


public class ServiceBProvider {


private String serviceName="service-A";


public void init(){

    String severList="172.19.100.29:2181";

    String rootPath="/servers";

    ZkClient zk=new ZkClient(severList, 5000, 5000);

    if(!zk.exists(rootPath)){

        zk.createPersistent(rootPath);

    }

    if(!zk.exists(rootPath+"/"+serviceName)){

        zk.createPersistent(rootPath+"/"+serviceName);

    }


    //获取本服务器IP

    String ip="92.168.58.132";

    zk.createPersistent(rootPath+"/"+serviceName+"/"+ip);

    System.out.println("znode:"+rootPath+"/"+serviceName+"/"+ip+"创建完成");

}


//提供服务

public void provide(){


}


public static void main(String[]args) throws Exception {

    ServiceBProvider service = new ServiceBProvider();

    service.init();


    Thread.sleep(1000*60*60*24);

    }

}
import java.util.ArrayList;

import java.util.List;

import java.util.Random;


import org.I0Itec.zkclient.IZkChildListener;

import org.I0Itec.zkclient.ZkClient;


public class ServiceConsumer {


    private List<String> serverList=new ArrayList<String>();


    private String serviceName="service-A";


    public void init(){

        String zkServerList="172.19.100.29:2181";

        String servicePath="/servers/"+serviceName;


        ZkClient zk=new ZkClient(zkServerList);


    if(zk.exists(servicePath)){

        serverList=zk.getChildren(servicePath);

        System.out.println("当前服务的地址"+serverList);

    }else{

        System.out.println("service is not exist!");

    }

    zk.subscribeChildChanges(servicePath, new IZkChildListener() {


        public void handleChildChange(String parentPath, List<String> currentChilds)

            throws Exception {

            serverList=currentChilds;

        }

    });

}


//消费服务

public void consume(){

    //通过负责均衡算法,得到一台服务器进行调用

    int index = getRandomNum(0,1);

    System.out.println("调用" + serverList.get(index)+"提供的服务:" + serviceName);

}


public int getRandomNum(int min,int max){

    Random rdm = new Random();

    return rdm.nextInt(max-min+1)+min;

}


public static void main(String[] args)throws Exception {

    ServiceConsumer consumer = new ServiceConsumer();


    consumer.init();

    consumer.consume();


    Thread.sleep(1000*60*60*24);

}


}

 

  • 3
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
什么是Zookeeper Zookeeper是一个分布式开源框架,提供了协调分布式应用的基本服务,它向外部应用暴露一组通用服务——分布式同步(Distributed Synchronization)、命名服务(Naming Service)、集群维护(Group Maintenance)等,简化分布式应用协调及其管理的难度,提供高性能的分布式服务。ZooKeeper本身可以以单机模式安装运行,不过它的长处在于通过分布式ZooKeeper集群(一个Leader,多个Follower),基于一定的策略来保证ZooKeeper集群的稳定性和可用性,从而实现分布式应用的可靠性。 1、Zookeeper是为别的分布式程序服务的 2、Zookeeper本身就是一个分布式程序(只要有半数以上节点存活,zk就能正常服务) 3、Zookeeper所提供的服务涵盖:主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统> 一名称服务等 4、虽然说可以提供各种服务,但是zookeeper在底层其实只提供了两个功能: 管理(存储,读取)用户程序提交的数据(类似namenode中存放的metadata);  并为用户程序提供数据节点监听服务; Zookeeper集群机制 Zookeeper集群的角色: Leader 和 follower  只要集群中有半数以上节点存活,集群就能提供服务 Zookeeper特性 1、Zookeeper:一个leader,多个follower组成的集群 2、全局数据一致:每个server保存一份相同的数据副本,client无论连接到哪个server,数据都是一致的 3、分布式读写,更新请求转发,由leader实施 4、更新请求顺序进行,来自同一个client的更新请求按其发送顺序依次执行 5、数据更新原子性,一次数据更新要么成功,要么失败 6、实时性,在一定时间范围内,client能读到最新数据 Zookeeper数据结构 1、层次化的目录结构,命名符合常规文件系统规范(类似文件系统)    2、每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识  3、节点Znode可以包含数据和子节点(但是EPHEMERAL类型的节点不能有子节点) 节点类型  a、Znode有两种类型: 短暂(ephemeral)(create -e /app1/test1 “test1” 客户端断开连接zk删除ephemeral类型节点)  持久(persistent) (create -s /app1/test2 “test2” 客户端断开连接zk不删除persistent类型节点) b、Znode有四种形式的目录节点(默认是persistent ) PERSISTENT  PERSISTENT_SEQUENTIAL(持久序列/test0000000019 )  EPHEMERAL  EPHEMERAL_SEQUENTIAL c、创建znode时设置顺序标识,znode名称后会附加一个值,顺序号是一个单调递增的计数器,由父节点维护          d、在分布式系统中,顺序号可以被用于为所有的事件进行全局排序,这样客户端可以通过顺序号推断事件的顺序 Zookeeper应用场景 数据发布与订阅(配置中心) 发布与订阅模型,即所谓的配置中心,顾名思义就是发布者将数据发布到ZK节点上,供订阅者动态获取数据,实现配置信息的集中式管理和动态更新。例如全局的配置信息,服务式服务框架的服务地址列表等就非常适合使用。 负载均衡 这里说的负载均衡是指软负载均衡。在分布式环境中,为了保证高可用性,通常同一个应用或同一个服务的提供方都会部署多份,达到对等服务。而消费者就须要在这些对等的服务器中选择一个来执行相关的业务逻辑,其中比较典型的是消息中间件中的生产者,消费者负载均衡。 消息中间件中发布者和订阅者的负载均衡,linkedin开源的KafkaMQ和阿里开源的 metaq都是通过zookeeper来做到生产者、消费者的负载均衡。这里以metaq为例如讲下: 生产者负载均衡:metaq发送消息的时候,生产者在发送消息的时候必须选择一台broker上的一个分区来发送消息,因此metaq在运行过程中,会把所有broker和对应的分区信息全部注册到ZK指定节点上,默认的策略是一个依次轮询的过程,生产者在通过ZK获取分区列表之后,会按照brokerId和partition的顺序排列组织成一个有序的分区列表,发送的时候按照从头到尾循环往复的方式选择一个分区来发送消息。 消费负载均衡: 在消费过程中,一个消费者会消费一个或多个分区
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值