集群和分布式的区别，软件架构的演化过程，Apache Dubbo详解

懒懒张187

已于 2022-03-14 07:36:23 修改

阅读量1.7k

点赞数

文章标签：分布式 apache java

于 2022-03-10 19:10:58 首次发布

本文链接：https://blog.csdn.net/m0_48811221/article/details/123389672

版权

集群和分布式的区别

集群是通过提高单位时间内执行的任务数来提升效率,分布式是以缩短单个任务的执行时间来提升效率的。举个例子：
&emsp: 例如： &emsp:
一个数据库里边有用户表、订单表、支付表。这几张表我放在一个数据库里。但是我怕存放着数据库的这台服务器挂了。于是我从这台主库里拷贝所有的数据到了另外几台服务器里。（主从数据库里的数据是一样的。）
当主表的服务器挂了立马启用从表的服务器，这是集群。 &emsp:
又比如我用户表、订单表、支付表里各有1亿条数据。这时访问可能影响效率。这时我将这三张表分成两部分，第一个服务器里各有三张表的5000w条数据，另一个服务器里存放着三张表各剩下的5000w条数据 (服务器之间的数据不相同，它们之间数据加起来是数据的总和 )。这就是分布式。
&emsp: 但是为了防止这两个服务器挂掉以后数据丢失，我们需要给这两个服务器各自再进行一个备份。分布式里边包含着集群。

集群
在这里插入图片描述
分布式

通俗点表达如下图所示：

在这里插入图片描述

软件架构的演化进程

软件架构经历了由单体架构、垂直架构、再到分布式架构的演化过程。如下图：
在这里插入图片描述
单一应用架构
当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本。此时，用于简化增删改查工作量的数据访问框架(ORM)是关键。
垂直应用架构
当访问量逐渐增大，单一应用增加机器带来的加速度越来越小，将应用拆成互不相干的几个应用，以此提升效率。此时，用于加速前端页面开发的web框架（MVC）是关键。
分布式服务框架
当垂直应用越来越多，应用之间交互不可避免，将核心业务抽取出来，作为独立的服务，逐渐形成稳定的服务中心，使前端应用能更快速的响应多变的市场需求。此时，用于提高业务复用及整合的分布式服务框架(RPC)是关键。
流动计算架构
当服务越来越多，容量的评估，小服务资源的浪费等问题逐渐显现，此时需增加一个调度中心基于访问压力实时管理集群容量，提高集群利用率。此时，用于提高机器利用率的资源调度和治理中心(SOA)是关键。

什么是SOA

SOA全称为Service-OrientedArchitecture，即面向服务的架构。它可以根据需求通过网络对松散耦合的粗粒度应用组件(服务)进行分布式部署、组合和使用。一个服务通常以独立的形式存在于操作系统进程中。
站在功能的角度，把业务逻辑抽象成可复用、可组装的服务，通过服务的编排实现业务的快速再生，目的：把原先固有的业务功能转变为通用的业务服务，实现业务逻辑的快速复用。
通过上面的描述可以发现SOA有如下几个特点：分布式、重可用、扩展灵活、松耦合。
原来的单体项目如何改为SOA架构？
原来的单体工程项目大多分为三层：表现层(Controller)、业务层(Service)、持久层(Dao)，要改为SOA架构，其实就是将业务层提取为服务并且独立部署即可，表现层通过网络和业务层进行通信，如下图：
在这里插入图片描述
下图为电商系统的SOA架构

Apache Dubbo概述

dubbo是阿里巴巴的，在2017年的时候阿里巴巴把dubbo捐献给了Apache
分布式治理框架：有两个 dubbo国内知名度非常高 SpringCloud在国际上知名度比较高
Apache Dubbo是一款高性能的Java RPC框架。其前身是阿里巴巴公司开源的一个高性能、轻量级的开源Java RPC框架，可以和Spring框架无缝集成。

什么是RPC？
RPC全称为remote procedure call，即远程过程调用。比如两台服务器A和B，A服务器上部署一个应用，B服务器上部署一个应用，A服务器上的应用想调用B服务器上的应用提供的方法，由于两个应用不在一个内存空间，不能直接调用，所以需要通过网络来表达调用的语义和传达调用的数据。
需要注意的是RPC并不是一个具体的技术，而是指整个网络远程调用过程。
RPC是一个泛化的概念，严格来说一切远程过程调用手段都属于RPC范畴。各种开发语言都有自己的RPC框架。Java中的RPC框架比较多，广泛使用的有RMI、Hessian、Dubbo等。
Dubbo官网地址：http://dubbo.apache.org
Dubbo提供了三大核心能力：面向接口的远程方法调用，智能容错和负载均衡，以及服务自动注册和发现。

Dubbo架构图

在这里插入图片描述
节点角色说明：

节点	角色名称
Provider	暴露服务的服务提供方
Consumer	调用远程服务的服务消费方
Registry	服务注册与发现的注册中心
Monitor	统计服务的调用次数和调用时间的监控中心
Container	服务运行容器

调用关系说明:
服务容器负责启动，加载，运行服务提供者。
服务提供者在启动时，向注册中心注册自己提供的服务。
服务消费者在启动时，向注册中心订阅自己所需的服务。
注册中心返回服务提供者地址列表给消费者，如果有变更，注册中心将基于长连接推送变更数据给消费者。
服务消费者，从提供者地址列表中，基于软负载均衡算法，选一台提供者进行调用，如果调用失败，再选另一台调用。
服务消费者和提供者，在内存中累计调用次数和调用时间，定时每分钟发送一次统计数据到监控中心。

服务注册中心zookeeper

Zookeeper 是 Apache Hadoop 的子项目，是一个树型的目录服务，支持变更推送，适合作为 Dubbo 服务的注册中心，工业强度较高，可用于生产环境，并推荐使用。
Zookeeper树型目录服务：
在这里插入图片描述
流程说明：
服务提供者(Provider)启动时: 向/dubbo/com.foo.BarService/providers 目录下写入自己的 URL 地址
服务消费者(Consumer)启动时: 订阅/dubbo/com.foo.BarService/providers 目录下的提供者 URL 地址。并向 /dubbo/com.foo.BarService/consumers 目录下写入自己的 URL 地址
监控中心(Monitor)启动时: 订阅/dubbo/com.foo.BarService 目录下的所有提供者和消费者 URL 地址

zookeeper安装与启动

1.先去网上下载
在这里插入图片描述
2.配置数据存储的位置：修改下图文件的第12行（比如我的第12行修改成了dataDir=D://zookeeper-3.4.6//data）

3.进入安装路径的bin目录，双击zkServer.cmd即可启动zookeeper服务

Dubbo快速入门

a.创建服务提供者

（1）.创建maven工程（打包方式为war）dubbodemo_provider，去继承dubbodemo_parent,省去了添加依赖dubbodemo_parent存储了项目所要用到的依赖，我们在dubbodemo_provider的pom.xml文件中引入它，是为了获得所需依赖

在这里插入图片描述

dubbodemo_provider的pom.xml文件：

<parent>
        <artifactId>dubbodemo_parent</artifactId>
        <groupId>cn.it</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>
    <packaging>war</packaging>
    
    <artifactId>dubbodemo_provider</artifactId>

（2）.配置web.xml文件

<!-- 监听器监听其他的spring配置文件 -->
  <context-param>
    <param-name>contextConfigLocation</param-name>
    <param-value>classpath:spring/applicationContext-provider.xml</param-value>
  </context-param>
  <listener>
    <listener-class>org.springframework.web.context.ContextLoaderListener</listener-class>
  </listener>

（3）.创建服务

public interface HelloService {
   public String sayHello(String name);
}

（4）.创建服务实现类
注意使用的service注解的路径需是alibaba的
下图两个注解：前者是将Service服务对外发布，注册到zookeeper，后者是将对象加入到spring容器中。
在这里插入图片描述

import com.alibaba.dubbo.config.annotation.Service;
@Service  //把此服务注册到zookeeper
public class HelloServiceImpl implements HelloService {
   public String sayHello(String name) {
      return "hello " + name;
   }
}

（5）在src/mian/resource下创建applicationContext-provicer.xml文件：

<!-- 当前应用名称，用于注册中心计算应用间依赖关系，注意：消费者和提供者应用名不要一样 -->
    <dubbo:application name="dubbodemo_provider" />
    <!-- 连接服务注册中心zookeeper ip为zookeeper所在服务器的ip地址-->
    <dubbo:registry address="zookeeper://127.0.0.1:2181"/>
    <!-- 注册  协议和port 默认使用RPC方式调用  端口默认是20880 -->
    <dubbo:protocol name="dubbo" port="20881"></dubbo:protocol>
    <!-- 扫描指定包，加入@Service注解的类会被发布为服务  -->
    <dubbo:annotation package="cn.it.service.impl" />

（6）启动服务也就是把spring容器启动即可
可以用tomcat启动项目
也可以用main方法加载spring配置文件，也就是启动了spring容器
在cn.it包下创建一个DemoProvider类来启动spring容器，代码如下:

public class DemoProvider {
    public static void main(String[] args) throws IOException {
//        加载配置文件，启动容器
        ClassPathXmlApplicationContext app = new ClassPathXmlApplicationContext("classpath:spring/applicationContext-provider.xml");
        app.start();
        System.in.read(); //等待控制台回车。如果不回车就一直卡这儿不继续
    }
}

整个项目目录结构如下：
在这里插入图片描述

b.创建服务消费者

（1）.创建maven工程（打包方式为war）dubbodemo_consumer，pom.xml配置和上面服务提供者相同

在这里插入图片描述
（2）.配置web.xml文件

<servlet>
    <servlet-name>springmvc</servlet-name>
    <servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class>
    <!-- 指定加载的配置文件 ，通过参数contextConfigLocation加载-->
    <init-param>
      <param-name>contextConfigLocation</param-name>
      <param-value>classpath:spring/springmvc.xml</param-value>
    </init-param>
  </seervlet>

  <servlet-mapping>
    <servlet-name>springmvc</servlet-name>
    <url-pattern>*.do</url-pattern>
  </servlet-mapping>

（3）.将服务器提供者工程中的HelloService接口复制到当前工程（待会儿这一步需要优化）
（4）.编写Controller类
注意：Controller中注入HelloService使用的是Dubbo提供的@Reference注解

@Controller
@RequestMapping("/demo")
public class HelloController {
   @Reference
   private HelloService helloService;

   @RequestMapping("/hello")
   @ResponseBody
   public String getName(String name){
      //远程调用
      String result = helloService.sayHello(name);
      System.out.println(result);
      return result;
   }
}

（5）在src/main/resources下创建spring文件夹，再创建springmvc.xml文件

<context:component-scan base-package="cn.it"/>
    <!--告诉zookeeper 当前项目是哪个-->
    <dubbo:application name="dubbodemo_consumer"/>
    <!--链接注册中心-->
    <dubbo:registry address="zookeeper://127.0.0.1:2181"/>
    <!--注解扫描 扫描的是dubbo的 @Reference注解-->
    <dubbo:annotation package="cn.it"/>
    <!--   timeout:每次请求都会等待3秒  retries失败后重试次数-->
    <dubbo:consumer timeout="3000" retries="0"/>

（6）配置tomcat启动项目，注意修改端口号（8089），然后启动项目。
（7）在浏览器输入http://localhost:8089/demo/hello.do?name=Jack，查看浏览器输出结果

思考（重要）

思考一：上面的Dubbo入门案例中我们是将HelloService接口从服务提供者工程(dubbodemo_provider)复制到服务消费者工程(dubbodemo_consumer)中，这种做法是否合适？还有没有更好的方式？
答：这种做法显然是不好的，同一个接口被复制了两份，不利于后期维护。更好的方式是单独创建一个maven工程，将此接口创建在这个maven工程中。需要依赖此接口的工程只需要在自己工程的pom.xml文件中引入maven坐标即可。
具体做法如下：
（1）.创建一个模块dubbodemo_interface把HelloService的代码放入到此模块中

在这里插入图片描述
（2）.然后dubbodemo_comsumer和dubbodemo_provider中依赖dubbodemo_interface

<dependencies>
    <dependency>
        <groupId>cn.it</groupId>
        <artifactId>dubbodemo_interface</artifactId>
        <version>1.0-SNAPSHOT</version>
    </dependency>
</dependencies>

思考二：在服务消费者工程(dubbodemo_consumer)中只是引用了HelloService接口，并没有提供实现类，Dubbo是如何做到远程调用的？
答：Dubbo底层是基于代理技术为HelloService接口创建代理对象，远程调用是通过此代理对象完成的。可以通过开发工具的debug功能查看此代理对象的内部结构。另外，Dubbo实现网络传输底层是基于Netty框架完成的。

思考三：上面的Dubbo入门案例中我们使用Zookeeper作为服务注册中心，服务提供者需要将自己的服务信息注册到Zookeeper，服务消费者需要从Zookeeper订阅自己所需要的服务，此时Zookeeper服务就变得非常重要了，那如何防止Zookeeper单点故障呢？
答：Zookeeper其实是支持集群模式的，可以配置Zookeeper集群来达到Zookeeper服务的高可用，防止出现单点故障。

Dubbo相关配置（了解）

1.包扫描
服务提供者和服务消费者都需要配置，表示包扫描，作用是扫描指定包(包括子包)下的类
@Service @Refrences

<dubbo:annotation package="cn.it.service" />

如果不使用包扫描，服务提供者也可以通过如下配置的方式来发布服务（不推荐）

<bean id="helloService" class="cn.it.service.impl.HelloServiceImpl" />
<dubbo:service interface="cn.it.service.HelloService" ref="helloService" />

作为服务消费者，可以通过如下配置来引用服务：（不推荐）

<!-- 生成远程服务代理，可以和本地bean一样使用helloService -->
<dubbo:reference id="helloService" interface="cn.it.service.HelloService" />

2.协议
在服务提供者一方配置，可以指定使用的协议名称和端口号。
其中Dubbo支持的协议有：dubbo(用到即使RPC方式的一种)、rmi、hessian、http、webservice、rest、redis等。
推荐使用的是dubbo协议。
dubbo 协议采用单一长连接和 NIO 异步通讯，适合于小数据量大并发的服务调用，以及服务消费者机器数远大于服务提供者机器数的情况。不适合传送大数据量的服务，比如传文件，传视频等，除非请求量很低。
也可以在同一个工程中配置多个协议，不同服务可以使用不同的协议，例如：

<!-- 多协议配置 -->
<dubbo:protocol name="dubbo" port="20880" />
<dubbo:protocol name="rmi" port="1099" />
<!-- 使用dubbo协议暴露服务 -->
<dubbo:service interface="cn.it.service.HelloService" ref="helloService" protocol="dubbo" />
<!-- 使用rmi协议暴露服务 -->
<dubbo:service interface="cn.it.service.DemoService" ref="demoService" protocol="rmi" />

3.启动时检查
这个配置需要配置在服务消费者一方，如果不配置默认check值为true。Dubbo 缺省会在启动时检查依赖的服务是否可用，不可用时会抛出异常，阻止 Spring 初始化完成，以便上线时，能及早发现问题。可以通过将check值改为false来关闭检查。
建议在开发阶段将check值设置为false，在生产环境下改为true。

<dubbo:consumer check="false"/>

4.超时时间和重试机制
配置在消费者端

<!--    默认的超时时间是1s ，默认的重试次数是3次--> 
<dubbo:consumer timeout="2000" retries="0"/>

5.负载均衡
负载均衡（Load Balance）：其实就是将请求分摊到多个操作单元上进行执行，从而共同完成工作任务。在集群负载均衡时，Dubbo 提供了多种均衡策略（包括随机（random）、轮询（roundRobin）、最少活跃调用数（leastActive）、一致性Hash(consistentHash)），默认为random随机调用。配置负载均衡策略，既可以在服务提供者一方配置，也可以在服务消费者一方配置，如下：
消费者：

@Controller
@RequestMapping("/demo")
public class HelloController {
   //在服务消费者一方配置负载均衡策略
   @Reference(check = false,loadbalance = "random")
   private HelloService helloService;

   @RequestMapping("/hello")
   @ResponseBody
   public String getName(String name){
      //远程调用
      String result = helloService.sayHello(name);
      System.out.println(result);
      return result;
   }
}

提供者：

//在服务提供者一方配置负载均衡
@Service(interfaceClass = HelloService.class,loadbalance = "random")
public class HelloServiceImpl implements HelloService {
   public String sayHello(String name) {
      return "hello " + name;
   }
}

Dubbo管理控制台

在开发时，需要知道Zookeeper注册中心都注册了哪些服务，有哪些消费者来消费这些服务。我们可以通过部署一个管理中心来实现。其实管理中心就是一个web应用，部署到一个干净的tomcat即可。（干净的tomcat：未被使用过的tomcat）

安装

找到一个干净的tomcat，修改tomcat下的conf/server.xml文件
第22行默认的8005修改成 8015 关闭Tomcat用到的端口号（只要修改的端口号唯一即可）
在这里插入图片描述
第69行 8080 改成 7788 对外提供的http端口号（只要修改的端口号唯一即可）

第116行 8009 改成 8019 这个端口号用Tomcat和Tomcat之间交互只要修改的端口号唯一即可）

安装步骤：
（1）准备好dubbo-admin.war文件,下载地址：https://github.com/apache/incubator-dubbo/tree/dubbo-2.6.0
（2）将dubbo-admin.war文件复制到tomcat的webapps目录下
（3）启动tomcat，此war文件会自动解压
（4）修改WEB-INF下的dubbo.properties文件，注意dubbo.registry.address对应的值需要对应当前使用的Zookeeper的ip地址和端口号

dubbo.registry.address=zookeeper://127.0.0.1:2181
dubbo.admin.root.password=root
dubbo.admin.guest.password=guest

（5）重启tomcat
在这里插入图片描述

使用

步骤：
（1）.访问http://localhost:7788/dubbo-admin，输入用户名(root)和密码(root)
（2）.启动服务提供者工程和服务消费者工程，可以在查看到对应的信息
在这里插入图片描述

懒懒张187

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫