Java集群优化——dubbo+zookeeper构建高可用分布式集群

最新推荐文章于 2022-04-01 08:59:27 发布
最新推荐文章于 2022-04-01 08:59:27 发布
阅读量938 收藏
点赞数
分类专栏： dubbo 文章标签： dubbo
本文通过实战演示了如何整合Dubbo与Zookeeper，包括安装配置Zookeeper、搭建Dubbo管理页面及SpringMVC与Dubbo的整合过程。通过这些步骤，读者能够了解分布式服务框架Dubbo的基本用法。
摘要由CSDN通过智能技术生成
不久前，我们讨论过Nginx+tomcat组成的集群，这已经是非常灵活的集群技术，但是当我们的系统遇到更大的瓶颈，全部应用的单点服务器已经不能满足我们的需求，这时，我们要考虑另外一种，我们熟悉的内容，就是分布式，而当下流行的Dubbo框架，不容我们忽视，这里，咱们一起来探讨一下这个框架的使用。


一，背景


    以前我们需要远程调用他人的接口，我们是这么做的：

                                              [置顶] Java集群优化——dubbo+zookeeper构建高可用分布式集群

我们遇到的问题：

        (1) 当服务越来越多时，服务URL配置管理变得非常困难，F5硬件负载均衡器的单点压力也越来越大。
此时需要一个服务注册中心，动态的注册和发现服务，使服务的位置透明。
并通过在消费方获取服务提供方地址列表，实现软负载均衡和Failover，降低对F5硬件负载均衡器的依赖，也能减少部分成本。
        (2) 当进一步发展，服务间依赖关系变得错踪复杂，甚至分不清哪个应用要在哪个应用之前启动，架构师都不能完整的描述应用的架构关系。
这时，需要自动画出应用间的依赖关系图，以帮助架构师理清理关系。
        (3) 接着，服务的调用量越来越大，服务的容量问题就暴露出来，这个服务需要多少机器支撑？什么时候该加机器？
        为了解决这些问题，第一步，要将服务现在每天的调用量，响应时间，都统计出来，作为容量规划的参考指标。
        其次，要可以动态调整权重，在线上，将某台机器的权重一直加大，并在加大的过程中记录响应时间的变化，直到响应时间到达阀值，记录此时的访问量，再以此访问量乘以机器数反推总容量。

        为解决这些问题，Dubbo为我们做了什么呢：

                               [置顶] Java集群优化——dubbo+zookeeper构建高可用分布式集群



负载均衡：

                                        [置顶] Java集群优化——dubbo+zookeeper构建高可用分布式集群

        这就是所谓的软负载均衡！



        现在让我们一起来接触下这个优秀的框架：

        简介

     架构如图：

                                                      [置顶] Java集群优化——dubbo+zookeeper构建高可用分布式集群

节点角色说明：

        Provider: 暴露服务的服务提供方。

        Consumer: 调用远程服务的服务消费方。

        Registry: 服务注册与发现的注册中心。

        Monitor: 统计服务的调用次调和调用时间的监控中心。

        Container: 服务运行容器。


调用关系说明：

        0. 服务容器负责启动，加载，运行服务提供者。

        1. 服务提供者在启动时，向注册中心注册自己提供的服务。

        2. 服务消费者在启动时，向注册中心订阅自己所需的服务。

        3. 注册中心返回服务提供者地址列表给消费者，如果有变更，注册中心将基于长连接推送变更数据给消费者。

        4. 服务消费者，从提供者地址列表中，基于软负载均衡算法，选一台提供者进行调用，如果调用失败，再选另一台调用。

        5. 服务消费者和提供者，在内存中累计调用次数和调用时间，定时每分钟发送一次统计数据到监控中心。



        Dubbo提供了很多协议，Dubbo协议、RMI协议、Hessian协议，我们查看Dubbo源代码，有各种协议的实现，如图所示：

                                                                       [置顶] Java集群优化——dubbo+zookeeper构建高可用分布式集群

        我们之前没用Dubbo之前时，大部分都使用Hessian来使用我们服务的暴露和调用，利用HessianProxyFactory调用远程接口。


        上面是参考了Dubbo官方网介绍，接下来我们来介绍SpringMVC、Dubbo、Zookeeper整合使用。


第三：Dubbo与Zookeeper、SpringMVC整合使用

  

  第一步：在Linux上安装Zookeeper

       Zookeeper作为Dubbo服务的注册中心，Dubbo原先基于数据库的注册中心，没采用Zookeeper，Zookeeper一个分布式的服务框架，是树型的目录服务的数据存储，能做到集群管理数据 ，这里能很好的作为Dubbo服务的注册中心，Dubbo能与Zookeeper做到集群部署，当提供者出现断电等异常停机时，Zookeeper注册中心能自动删除提供者信息，当提供者重启时，能自动恢复注册数据，以及订阅请求。我们先在linux上安装Zookeeper，我们安装最简单的单点，集群比较麻烦。

   

先需要安装JdK，从Oracle的Java网站下载，安装很简单，就不再详述。

单机模式

        单机安装非常简单，只要获取到 Zookeeper 的压缩包并解压到某个目录如：C:/zookeeper-3.4.5/下，Zookeeper 的启动脚本在 bin 目录下，Windows 下的启动脚本是 zkServer.cmd。

        在你执行启动脚本之前，还有几个基本的配置项需要配置一下，Zookeeper 的配置文件在 conf 目录下，这个目录下有 zoo_sample.cfg 和 log4j.properties，你需要做的就是将 zoo_sample.cfg 改名为 zoo.cfg，因为 Zookeeper 在启动时会找这个文件作为默认配置文件。下面详细介绍一下，这个配置文件中各个配置项的意义。


<span style="font-size:18px;"># The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial  # synchronization phase can take initLimit=10 # The number of ticks that can pass between  # sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just  # example sakes. dataDir=C://zookeeper-3.4.5//data dataLogDir=C://zookeeper-3.4.5//log # the port at which the clients will connect clientPort=2181 # # Be sure to read the maintenance section of the  # administrator guide before turning on autopurge. # # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance # # The number of snapshots to retain in dataDir #autopurge.snapRetainCount=3 # Purge task interval in hours # Set to "0" to disable auto purge feature #autopurge.purgeInterval=1</span>
  • tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
  • dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。
  • dataLogDir：顾名思义就是 Zookeeper 保存日志文件的目录
  • clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。

        当这些配置项配置好后，你现在就可以启动 Zookeeper 了，启动后要检查 Zookeeper 是否已经在服务，可以通过 netstat – ano 命令查看是否有你配置的 clientPort 端口号在监听服务。


  第二步：配置dubbo-admin的管理页面，方便我们管理页面

        (1)下载dubbo-admin-2.4.1.war包，在windows的tomcat部署，先把dubbo-admin-2.4.1放在tomcat的webapps/ROOT下，然后进行解压

        (2)然后到webapps/ROOT/WEB-INF下，有一个dubbo.properties文件，里面指向Zookeeper ，使用的是Zookeeper 的注册中心，如图所示：

        

<span style="font-size:18px;">dubbo.registry.address=zookeeper://127.0.0.1:2181 dubbo.admin.root.password=root dubbo.admin.guest.password=guest</span>


        (3)然后启动tomcat服务，用户名和密码：root,并访问服务，显示登陆页面，说明dubbo-admin部署成功，如图所示：

      [置顶] Java集群优化——dubbo+zookeeper构建高可用分布式集群

  第三步：SpringMVC与Dubbo的整合，这边使用的Maven的管理项目

        第一：我们先开发服务注册的，就是提供服务，项目结构如图所示：

         [置顶] Java集群优化——dubbo+zookeeper构建高可用分布式集群

        （1）test-maven-api项目加入了一个服务接口，代码如下：

public interface TestRegistryService {    public String hello(String name); }

       （2）test-maven-console在pom.xml加入Dubbo和Zookeeper的jar包、引用test-maven-api的jar包，代码如下：

  

<span style="font-size:18px;"><dependency>     <groupId>cn.test</groupId>     <artifactId>test-maven-api</artifactId>     <version>0.0.1-SNAPSHOT</version>    </dependency>          <dependency>             <groupId>com.alibaba</groupId>             <artifactId>dubbo</artifactId>             <version>2.5.3</version>         </dependency>                   <dependency>             <groupId>org.apache.zookeeper</groupId>    <artifactId>zookeeper</artifactId>    <version>3.4.6</version>         </dependency>          <dependency>        <groupId>com.github.sgroschupf</groupId>    <artifactId>zkclient</artifactId>    <version>0.1</version> </dependency></span>


        (3)test-maven-console实现具体的服务，代码如下：

@Service("testRegistryService") public class TestRegistryServiceImpl implements TestRegistryService {  public String hello(String name) {    return "hello"+name;  } }

        (4)我们服务以及实现好了，这时要暴露服务，代码如下：

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xmlns:jee="http://www.springframework.org/schema/jee"
    xmlns:tx="http://www.springframework.org/schema/tx"
    xmlns:dubbo="http://code.alibabatech.com/schema/dubbo"
    xmlns:context="http://www.springframework.org/schema/context"
    xsi:schemaLocation="http://www.springframework.org/schema/beans
        http://www.springframework.org/schema/beans/spring-beans-3.1.xsd
        http://www.springframework.org/schema/tx
        http://www.springframework.org/schema/tx/spring-tx-3.1.xsd
        http://www.springframework.org/schema/jee
        http://www.springframework.org/schema/jee/spring-jee-3.1.xsd
        http://code.alibabatech.com/schema/dubbo
        http://code.alibabatech.com/schema/dubbo/dubbo.xsd</span>
        http://www.springframework.org/schema/context
        http://www.springframework.org/schema/context/spring-context-3.1.xsd"
        default-lazy-init="false">



    <!--提供方应用名称信息，这个相当于起一个名字，我们dubbo管理页面比较清晰是哪个应用暴露出来的-->
    <dubbo:application name="dubbo_provider"></dubbo:application>

    <!--使用zookeeper注册中心暴露服务地址-->
    <dubbo:registry address="zookeeper://127.0.0.1:2181" check="false" subscribe="false" register=""></dubbo:registry>


    <!--要暴露的服务接口-->
    <dubbo:service interface="cn.test.dubbo.registry.service.TestRegistryService" ref="testRegistryService"/>

</beans>

  


说明：

   dubbo:registry 标签一些属性的说明：

      1）register是否向此注册中心注册服务，如果设为false，将只订阅，不注册。

      2）check注册中心不存在时，是否报错。

      3）subscribe是否向此注册中心订阅服务，如果设为false，将只注册，不订阅。

      4）timeout注册中心请求超时时间(毫秒)。

      5）address可以Zookeeper集群配置，地址可以多个以逗号隔开等。

  dubbo:service标签的一些属性说明：

     1）interface服务接口的路径

     2）ref引用对应的实现类的Bean的ID

     3）registry向指定注册中心注册，在多个注册中心时使用，值为<dubbo:registry>的id属性，多个注册中心ID用逗号分隔，如果不想将该服务注册到任何registry，可将值设为N/A

     4）register 默认true ，该协议的服务是否注册到注册中心。


   (5)启动项目，然后我们在Dubbo管理页面上显示，已经暴露的服务，但显示还没有消费者，因为我们还没实现消费者服务，如图所示：

  [置顶] Java集群优化——dubbo+zookeeper构建高可用分布式集群

   第二：我们在开发服务消费者，就是调用服务，我们在新建一个新的消费者项目：

       

        （1）test-maven-server-console的pom.xml引入Dubbo和Zookeeper的jar包、test-maven-api的jar包，因为引入test-maven-api的jar包，我们在项目中调用像在本地调用一样。代码如下：

      

<span style="font-size:18px;"><dependency>     <groupId>cn.test</groupId>     <artifactId>test-maven-api</artifactId>     <version>0.0.1-SNAPSHOT</version>    </dependency>          <dependency>             <groupId>com.alibaba</groupId>             <artifactId>dubbo</artifactId>             <version>2.5.3</version>         </dependency>                   <dependency>             <groupId>org.apache.zookeeper</groupId>    <artifactId>zookeeper</artifactId>    <version>3.4.6</version>         </dependency>          <dependency>        <groupId>com.github.sgroschupf</groupId>    <artifactId>zkclient</artifactId>    <version>0.1</version> </dependency></span>


        （2）test-maven-server-console项目的具体实现，代码如下：

     

@Controller public class IndexController {    @Autowired  private TestRegistryService testRegistryService;    @RequestMapping("/hello")  public String index(Model model){       String name=testRegistryService.hello("zz");       System.out.println("xx=="+name);   return "";  }  }


        (3)我们要引用的地址，代码如下：

<?xml version="1.0" encoding="UTF-8"?>
 
<beans xmlns="http://www.springframework.org/schema/beans"
   xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
   xmlns:jee="http://www.springframework.org/schema/jee"
   xmlns:tx="http://www.springframework.org/schema/tx"  
	 xmlns:dubbo="http://code.alibabatech.com/schema/dubbo"
	 xmlns:context="http://www.springframework.org/schema/context"
	 xsi:schemaLocation="http://www.springframework.org/schema/beans
	 	http://www.springframework.org/schema/beans/spring-beans-3.1.xsd
	 	http://www.springframework.org/schema/tx
	 	http://www.springframework.org/schema/tx/spring-tx-3.1.xsd
	 	http://www.springframework.org/schema/jee
	 	http://www.springframework.org/schema/jee/spring-jee-3.1.xsd  
		http://code.alibabatech.com/schema/dubbo
		http://code.alibabatech.com/schema/dubbo/dubbo.xsd
		http://www.springframework.org/schema/context
		http://www.springframework.org/schema/context/spring-context-3.1.xsd"
		default-lazy-init="false" >     
	<dubbo:application name="dubbo_consumer"></dubbo:application>    
	<!-- 使用zookeeper注册中心暴露服务地址 -->

	<dubbo:registry address="zookeeper://192.168.74.129:2181" check="false"></dubbo:registry>

	<!-- 要引用的服务 -->
	<dubbo:reference interface="cn.test.dubbo.registry.service.TestRegistryService" id="testRegistryService"></dubbo:reference> 
</beans>


说明：

   dubbo:reference 的一些属性的说明：

      1）interface调用的服务接口

      2）check 启动时检查提供者是否存在，true报错，false忽略

      3）registry 从指定注册中心注册获取服务列表，在多个注册中心时使用，值为<dubbo:registry>的id属性，多个注册中心ID用逗号分隔

      4）loadbalance 负载均衡策略，可选值：random,roundrobin,leastactive，分别表示：随机，轮循，最少活跃调用

   

(4)项目启动，Dubbo管理页面，能看到消费者，如图所示：

 [置顶] Java集群优化——dubbo+zookeeper构建高可用分布式集群

(5)然后访问消费者项目，Controller层能像调用本地一样调用服务的具体实现，如图所示：

  [置顶] Java集群优化——dubbo+zookeeper构建高可用分布式集群


总结：

        经过一系列的操作之后，我们感觉，的确很简单，dubbo给我们封装了很多操作，让我们不需要过多考虑具体的实现细节，配置化生成咱们的应用，这样的思想，现在在IT行业正在盛行！

huangmr0610
关注
专栏目录
注册不上zookeeper无报错_[置顶] Java集群优化——dubbo+zookeeper构建高可用分布式集群...
weixin_30015509的博客
12-24 149
不久前，我们讨论过Nginx+tomcat组成的集群，这已经是非常灵活的集群技术，但是当我们的系统遇到更大的瓶颈，全部应用的单点服务器已经不能满足我们的需求，这时，我们要考虑另外一种，我们熟悉的内容，就是分布式，而当下流行的Dubbo框架，不容我们忽视，这里，咱们一起来探讨一下这个框架的使用。一，背景以前我们需要远程调用他人的接口，我们是这么做的：我们遇到的问题：(1) 当服务越来越多时，服务UR...
dubbo高可用篇
09-11
现在分布式架构师开发的潮流，在工作，面试中经常会遇到和别问到，这里提供分布式架构dubbo框架实战的高级篇视频教程百度云分享，希望对大家有帮助。 初级篇地址：http://download.csdn.net/download/zhou853137/9966081 高级篇地址：http://download.csdn.net/download/zhou853137/9966097 高可用篇地址：http://u.download.csdn.net/upload
Dubbo的高可用性
weixin_30314793的博客
08-20 197
1、zookeeper宕机与dubbo直连 现象：zookeeper注册中心宕机，还可以消费dubbo暴露的服务。 原因： 健壮性 l 监控中心宕掉不影响使用，只是丢失部分采样数据 l 数据库宕掉后，注册中心仍能通过缓存提供服务列表查询，但不能注册新服务 l 注册中心对等集群，任意一台宕掉后，将自动切换到另一台 l 注册中心全部宕掉后，服务提供者和服...
构建高可用ZooKeeper集群
AI乔治
07-04 171
ZooKeeper 是 Apache 的一个顶级项目，为分布式应用提供高效、高可用的分布式协调服务，提供了诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知和分布式锁等分布式基础服务。由于 ZooKeeper 便捷的使用方式、卓越的性能和良好的稳定性，被广泛地应用于诸如 Hadoop、HBase、Kafka 和 Dubbo 等大型分布式系统中。 本文的目标读者是对 ZooKeeper 有一...
linux(centos7)搭建dubbo+zookeeper集群
一个java小白的博客
05-24 3078
一、在windows搭建单点测试    在平时的开发过程中，如果我们的项目用到dubbo+zookeeper，我习惯在本地搭建一个单点，用于debug调试，因为win平台搭建单点，比较简单，网上也很多相关的文章，再次我就不再赘述，直接甩给大家一个链接（https://blog.csdn.net/sjw9507/article/details/79351474），大家可以自行参考。二、在linux下...
springboot+dubbo+zookeeper构建的分布式调用服务框架
11-26
【SpringBoot + Dubbo + ZooKeeper 构建的分布式调用服务框架】 SpringBoot 是一个由 Pivotal 团队创建的 Java 框架，它简化了在 Spring 框架上创建独立的、生产级别的基于 Java 的应用程序。SpringBoot 通过提供...
springBoot+dubbo+zookeeper分布式微服务
10-26
本项目"springBoot+dubbo+zookeeper分布式微服务"充分利用了这三个组件的优势，构建了一个高效、可扩展且易于维护的服务网络。以下是对这些技术及其整合应用的详细说明： **SpringBoot** SpringBoot是Spring框架的...
分布式集群dubbo+zookeeper.pdf
12-10
综上所述，分布式系统的设计和实施涉及到众多复杂的概念和技术，如集群、分布式、Zookeeper、CAP定理和BASE理论，这些都是构建大规模、高可用应用的基础。理解并掌握这些知识点对于IT专业人员来说至关重要。
dubbo spring zookeeper分布式集群搭建完整例子
10-25
使用springMVC + mysql +dubbo搭建的一个分布式简单例子，数据库大家可以自己创建一个，该用例可以直接运行，使用tomcat服务器运行即可
(基础）Dubbo 第三章 高可用
gonghaiyu的博客
06-07 221
1、zookeeper宕机与dubbo直连 现象：zookeeper注册中心宕机，还可以消费dubbo暴露的服务。 原因： 健壮性  监控中心宕掉不影响使用，只是丢失部分采样数据  数据库宕掉后，注册中心仍能通过缓存提供服务列表查询，但不能注册新服务  注册中心对等集群，任意一台宕掉后，将自动切换到另一台  注册中心全部宕掉后，服务提供者和服务消费者仍能通过本地缓存通讯  服务提供者无状态，任意一台宕掉后，不影响使用  服务提供者全部宕掉后，服务消费者应用将无法使用，并无限次重连等待服务提供者恢
ZooKeeper集群(dubbo)
weixin_43694465的博客
01-02 107
一 安装 1 准备文件夹 在zookeeper根目录中创建新的文件夹zkCluster. 2 在zkCluster文件下创建zk1/zk2/zk3文件夹 3 在每个文件夹里分别创建data和log文件夹 命令: mkdir {zk1 , zk2 , zk3}/{data , log} 4添加myid文件 分别在zk1/zk2/zk3中的data文件夹中创建新的文件myid.其中...
【dubbo】分布式服务框架の简单认识
u012219089的博客
04-28 197
1. Dubbo是什么？ Dubbo是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，以及SOA服务治理方案。简单的说，dubbo就是个服务框架，如果没有分布式的需求，其实是不需要用的，只有在分布式的时候，才有dubbo这样的分布式服务框架的需求，并且本质上是个服务调用的东东，说白了就是个远程服务调用的分布式框架（告别Web Service模式中的WSdl，以服务者与消...
dubbo+Zookeeper
HYJ940228的博客
11-01 519
架构的演变 单一系统 扩展不易：添加某一个功能需要重新打包整个项目 开发不易：所有模块儿都需要同一个项目中开发 垂直架构 将所有功能拆分成若干个小程序，部署到不同的服务器上（解决了单一系统的问题） 页面和业务不分离，修改页面就得对整个模块进行部署 应用之间需要交互 分布式架构 抽出核心业务，供多方进行调用 但是问题来了不同服务器上如何调用？ dubbo PRC基本原理：...
dubbo实现zookeeper集群
qq_39095899的博客
07-21 209
zookeeper集群 代码实现
Dubbo之如何实现高可用
eddie's Blog
03-30 686
zookeeper宕机与dubbo直连 现象：zookeeper注册中心宕机，还可以消费dubbo暴露的服务 原因： 监控中心宕掉不影响使用，只是丢失部分采样数据 数据库宕掉后，注册中心仍能通过缓存提供服务列表查询，但不能注册新服务 注册中心对等集群，任意一台宕掉后，将自动切换到另一台 注册中心全部宕掉后，服务提供者和服务消费者仍能通过本地缓存通讯（dubbo直连，不通过zookeeper）...
Dubbo服务高可用机制
m0_67392273的博客
04-01 381
Dubbo服务高可用机制 Dubbo 容错机制 容错机制值得是服务容忍错误的能力，当系统出现网络延迟、网络中断、服务异常等原因，造成当前服务暂时不可用，Dubbo提供了容错机制来优雅地帮助服务调用者处理这类错误。 Dubbo默认提供了6种容错模式 Failover Cluster（默认）：失败自动切换。当服务调用失败后，会切换到集群中的其他机器进行重试，默认重试次数为2，通过属性retries=2可以修改次数，但是重试次数增加会带来更长的响应延迟。（这种容错模式通常用于读操作） Failfast Clus
Dubbo+ZookeeperRPC分布式集群服务端源码解析
在这个资源包中，包含了一整套基于Dubbo和Zookeeper的RPC分布式集群服务系统的Java源码。Dubbo是阿里巴巴开源的高性能、轻量级的Java RPC框架，而Zookeeper是分布式协调服务系统，它们通常被用于构建分布式服务和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值