分布式简要说明
Dubbo是用于分布式系统的框架所以我们要先了解什么是分布式
分布式系统是若干独立 计算机的集合,这些计算机对于用户来说就像单个相关系统。
老式系统(单一应用架构)就是把一个系统,统一放到一个服务器当中然后每一个服务器上放一个系统,如果说要更新代码的话,每一个服务器上的系统都要重新去部署十分的麻烦。
而分布式系统就是将一个完整的系统拆分成多个不同的服务,然后在将每一个服务单独的放到一个服务器当中。(三个臭皮匠赛过诸葛亮)
应用架构及发展演变
1、单一应用框架(ORM)
当网站流量很小时,只需一个应用,将所有功能如下单支付等都部署在一起,以减少部署节点和成本。
缺点:单一的系统架构,使得在开发过程中,占用的资源越来越多,而且随着流量的增加越来越难以维护
2、垂直应用框架(MVC)
垂直应用架构解决了单一应用架构所面临的扩容问题,流量能够分散到各个子系统当中,且系统的体积可控,一定程度上降低了开发人员之间协同以及维护的成本,提升了开发效率。
缺点:但是在垂直架构中相同逻辑代码需要不断的复制,不能复用。
3、分布式应用架构(RPC)
当垂直应用越来越多,应用之间交互不可避免,将核心业务抽取出来,作为独立的服务,逐渐形成稳定的服务中心
4、流动计算架构(SOA)
随着服务化的进一步发展,服务越来越多,服务之间的调用和依赖关系也越来越复杂,诞生了面向服务的架构体系(SOA),也因此衍生出了一系列相应的技术,如对服务提供、服务调用、连接处理、通信协议、序列化方式、服务发现、服务路由、日志输出等行为进行封装的服务框架
各个架构特点
-
单一应用架构
- 当网站流量很小时,只需一个应用,将所有功能都部署在一起,以减少部署节点和成本。
- 此时,用于简化增删改查工作量的 数据访问框架(ORM) 是关键。
-
垂直应用架构
- 当访问量逐渐增大,单一应用增加机器带来的加速度越来越小,将应用拆成互不相干的几个应用,以提升效率。
- 此时,用于加速前端页面开发的 Web框架(MVC) 是关键。
-
分布式服务架构
- 当垂直应用越来越多,应用之间交互不可避免,将核心业务抽取出来,作为独立的服务,逐渐形成稳定的服务中心,使前端应用能更快速的响应多变的市场需求。
- 此时,用于提高业务复用及整合的 分布式服务框架(RPC) 是关键。
-
流动计算架构
- 当服务越来越多,容量的评估,小服务资源的浪费等问题逐渐显现,此时需增加一个调度中心基于访问压力实时管理集群容量,提高集群利用率。
- 此时,用于提高机器利用率的 资源调度和治理中心(SOA) 是关键。
RPC简介
RPC(Remote Procedure Call Protocol):远程过程调用:
两台服务器A、B,分别部署不同的应用a,b。当A服务器想要调用B服务器上应用b提供的函数或方法的时候,由于不在一个内存空间,不能直接调用,需要通过网络来表达调用的语义传达调用的数据。
说白了,就是你在你的机器上写了一个程序,我这边是无法直接调用的,这个时候就出现了一个远程服务调用的概念。
RPC是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。
RPC采用客户机/服务器模式。请求程序就是一个客户机,而服务提供程序就是一个服务器。首先,客户机调用进程发送一个有进程参数的调用信息到服务进程,然后等待应答信息。在服务器端,进程保持睡眠状态直到调用信息到达为止。当一个调用信息到达,服务器获得进程参数,计算结果,发送答复信息,然后等待下一个调用信息,最后,客户端调用进程接收答复信息,获得进程结果,然后调用执行继续进行。
RPC 调用分以下两种:
同步调用:客户方等待调用执行完成并返回结果。
异步调用:客户方调用后不用等待执行结果返回,但依然可以通过回调通知等方式获取返回结果。若客户方不关心调用返回结果,则变成单向异步调用,单向调用不用返回结果。
RPC步骤解析:
RPC需要解决的问题:
通讯问题 : 主要是通过在客户端和服务器之间建立TCP连接,远程过程调用的所有交换的数据都在这个连接里传输。连接可以是按需连接,调用结束后就断掉,也可以是长连接,多个远程过程调用共享同一个连接。
寻址问题 : A服务器上的应用怎么告诉底层的RPC框架,如何连接到B服务器(如主机或IP地址)以及特定的端口,方法的名称名称是什么,这样才能完成调用。比如基于Web服务协议栈的RPC,就要提供一个endpoint URI,或者是从UDDI服务上查找。如果是RMI调用的话,还需要一个RMI Registry来注册服务的地址。
序列化 与 反序列化 : 当A服务器上的应用发起远程过程调用时,方法的参数需要通过底层的网络协议如TCP传递到B服务器,由于网络协议是基于二进制的,内存中的参数的值要序列化成二进制的形式,也就是序列化(Serialize)或编组(marshal),通过寻址和传输将序列化的二进制发送给B服务器。
同理,B服务器接收参数要将参数反序列化。B服务器应用调用自己的方法处理后返回的结果也要序列化给A服务器,A服务器接收也要经过反序列化的过程。
Dubbo是什么
-
用来解决RPC通信的框架
-
一款分布式服务框架
-
高性能和透明化的RPC远程服务调用方案
-
SOA服务治理方案
Dubbo架构
Provider: 暴露服务的服务提供方。
Consumer: 调用远程服务的服务消费方。
Registry: 服务注册与发现的注册中心。
Monitor: 统计服务的调用次数和调用时间的监控中心
调用流程
0.服务容器负责启动,加载,运行服务提供者。
1.服务提供者在启动时,向注册中心注册自己提供的服务。
2.服务消费者在启动时,向注册中心订阅自己所需的服务。
3.注册中心返回服务提供者地址列表给消费者,如果有变更,注册中心将基于长连接推送变更数据给消费者。
4.服务消费者,从提供者地址列表中,基于软负载均衡算法,选一提供者进行调用,如果失败,再选另一台调用。
5.服务消费者和提供者,在内存中累计调用次数和调用时间,定时每分钟发送一次统计数据到监控中心
Dubbo注册中心
对于服务提供方,它需要发布服务,而且由于应用系统的复杂性,服务的数量、类型也不断膨胀;
对于服务消费方,它最关心如何获取到它所需要的服务,而面对复杂的应用系统,需要管理大量的服务调用。
而且,对于服务提供方和服务消费方来说,他们还有可能兼具这两种角色,即既需要提供服务,有需要消费服务。
通过将服务统一管理起来,可以有效地优化内部应用对服务发布/使用的流程和管理。服务注册中心可以通过特定协议来完成服务对外的统一。
Dubbo提供的注册中心有如下几种类型可供选择:
- Multicast注册中心
- Zookeeper注册中心
- Redis注册中心
- Simple注册中心
Dubbo优缺点
优点:
1、透明化的远程方法调用
像调用本地方法一样调用远程方法;只需简单配置,没有任何API侵入。
2、软负载均衡及容错机制
可在内网替代nginx lvs等硬件负载均衡器。
3、服务注册中心自动注册 & 配置管理
不需要写死服务提供者地址,注册中心基于接口名自动查询提供者ip。
使用类似zookeeper等分布式协调服务作为服务注册中心,将绝大部分项目配置移入zookeeper集群。
4、服务接口监控与治理
Dubbo-admin与Dubbo-monitor提供了服务接口管理与监控功能,针对不同应用的不同接口,可以进行 多版本,多协议,多注册中心管理。
缺点:
只支持JAVA语言
安装Zookeeper
-
上传zookeeper压缩包到服务器/usr/local/zookeeper下
-
复制zoo_sample.cfg为zoo.cfg
cp zoo_sample.cfg zoo.cfg
-
进入zoo.cfg文件进行编辑
dataDir=/tmp/zookeeper/data dataLogDir=/tmp/zookeeper/log
-
在tmp目录创建目录
[root@localhost conf]# mkdir /tmp/zookeeper [root@localhost conf]# mkdir /tmp/zookeeper/data [root@localhost conf]# mkdir /tmp/zookeeper/log
-
上面的操作都完事之后,我们需要配置一下环境变量
vim /etc/profile 在文件的最下面添加 # export ZOOKEEPER_INSTALL=/usr/local/zookeeper-3.4.13/ # export PATH=$PATH:$ZOOKEEPER_INSTALL/bin
-
进入zookeeper的bin目录,并启动zookeep。
./zkServer.sh start
DubboDemo
示例项目分为三个,分别是:
1. dubbo-api:提供统一的接口,最终会打为jar包,供consumer和provider引用
2.dubbo-provider:服务提供者,包含api接口的实现类,提供服务的实现逻辑
3.dubbo-consumer:该项目是一个web项目,有几个作用,首先该项目以http的形式提供前端和浏览器访问的接口,其次,该项目也是dubbo消费者,用来消费dubbo-provider项目提供的服务。
dubbo-api模块
创建springboot项目,创建两个类,实体类需要序列化
package cn.itcast.api;
public interface UserApi {
String sayHi(String name);
User findById(Long id);
}
public class User implements Serializable {
private Long id;
private String name;
public Long getId() {
return id;
}
public void setId(Long id) {
this.id = id;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
}
dubbo-provider模块
package com.zhang.apiIpml;
import com.zhang.api.User;
import com.zhang.api.UserApi;
import org.apache.dubbo.config.annotation.DubboService;
import org.apache.dubbo.config.annotation.Service;
//使用dubbo提供的@DubboService
//@Service(timeout = 3000,retries = 1)// 设置超时时间(默认1000),重试次数(默认2次)
//@Service(version = "2.0") // version指定服务版本,演示灰色发布,服务消费者可以设置指定要访问的版本
@DubboService(weight = 200) //如果有多个相同版本的服务提供者,消费者该如何调用?这就需要用到负载均衡
public class UserAppImpl implements UserApi {
@Override
public String sayHi(String name) {
return "hi,"+name;
}
@Override
public User findById(Long id) {
User user = new User();
user.setId(id);
user.setName("张三");
return user;
}
}
application.properties
文件
# 应用名称
spring.application.name=dubbo-provider
# 应用服务 WEB 访问端口
server.port=8081
#项目名称
dubbo.application.name=dubbo-provider-user
#注册中心地址
dubbo.registry.address=zookeeper://47.100.33.75:2181
#超时连接设置
dubbo.registry.timeout=100000
#对外暴露的服务使用的协议:dubbo协议
dubbo.protocol.name=dubbo
# 对外暴漏服务的端口
dubbo.protocol.port=20881
# dubbo包扫描,会扫描dubbo提供的@Service注解
dubbo.scan.base-packages=com.zhang.apiIpml
pom.xml
文件
<!--依赖dubbo-api项目工程-->
<dependency>
<groupId>com.zhang</groupId>
<artifactId>dubbo-api</artifactId>
<version>0.0.1-SNAPSHOT</version>
<scope>compile</scope>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<!--dubbo的依赖-->
<dependency>
<groupId>org.apache.dubbo</groupId>
<artifactId>dubbo-spring-boot-starter</artifactId>
<version>2.7.7</version>
</dependency>
<!--zookeeper及其依赖包,解决日志冲突,还需要剔除日志依赖-->
<dependency>
<groupId>org.apache.curator</groupId>
<artifactId>curator-framework</artifactId>
<version>2.12.0</version>
</dependency>
<dependency>
<groupId>org.apache.curator</groupId>
<artifactId>curator-recipes</artifactId>
<version>2.12.0</version>
</dependency>
<dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<version>3.4.14</version>
<!--排除这个slf4j-log4j12-->
<exclusions>
<exclusion>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
</exclusion>
</exclusions>
</dependency>
dubbo-consumer模块
package com.zhang.controller;
/**
* 负载均衡策略(4种):
*
* random :按权重随机,默认值。按权重设置随机概率。
* roundrobin :按权重轮询。
* leastactive:最少活跃调用数,相同活跃数的随机。
* consistenthash:一致性 Hash,相同参数的请求总是发到同一提供者。
*/
import com.zhang.api.User;
import com.zhang.api.UserApi;
import org.apache.dubbo.config.annotation.DubboReference;
import org.apache.dubbo.config.annotation.Reference;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
/**
* 集群容错模式:
*
* Failover Cluster:失败重试。默认值。当出现失败,重试其它服务器 ,默认重试2次,使用 retries 配置。一般用于读操作
* Failfast Cluster :快速失败,只发起一次调用,失败立即报错。通常用于写操作。(不重试)
* Failsafe Cluster :失败安全,出现异常时,直接忽略。返回一个空结果。(一般用于不太重要的操作,比如消息通知)
* Failback Cluster :失败自动恢复,后台记录失败请求,定时重发。(一般用于非常重要的操作)
* Forking Cluster :并行调用多个服务器,只要一个成功即返回。
* Broadcast Cluster :广播调用所有提供者,逐个调用,任意一台报错则报错
*/
@RestController
@RequestMapping("order")
public class OrderController {
/**
* @DubboReference 导入dubbo提供的注解:org.apache.dubbo.config.annotation.Reference
* 用于对指定的接口生成代理对象,通过代理封装远程调用相关代码,实现远程调用
*
* @DubboReference(version = "2.0")//调用指定的服务版本
*
* 负载均衡策略
* @DubboReference(loadbalance = "random")按权重随机,默认值。按权重设置随机概率
* @DubboReference(loadbalance = "consistenthash")一致性 Hash,相同参数的请求总是发到同一提供者。
*
*
* @DubboReference(cluster = "failover") 消费者集群容错模式:失败重试。默认值。默认重试2次,使用 retries 配置。
* @DubboReference(cluster = "failfast")快速失败. 注意:区分大小写
* @DubboReference(cluster = "forking")并行调用多个服务器
* @DubboReference(cluster = "broadcast")广播调用所有提供者,逐个调用,任意一台报错则报错
*
*/
@DubboReference
private UserApi userApi;
@GetMapping("hello")
public String hello() {
// 执行RPC远程调用, 获取dubbo服务返回结果. 在浏览器显示
return userApi.sayHi("Tom");
}
/**
* 根据用户id查询用户信息。
* http://localhost:18080/order/user/1
*/
@GetMapping("/user/{id}")
public User findUserById(@PathVariable("id") Long id){
return userApi.findById(id);
}
}
applicatin.properties
文件
# 应用名称
spring.application.name=dubbo-consumer
# 应用服务 WEB 访问端口
server.port=8082
#项目名称
dubbo.application.name=dubbo-consumer-order
#指定zookeeper注册中心
dubbo.registry.address=zookeeper://47.100.33.75:2181
#超时连接设置
dubbo.registry.timeout=100000
pom.xml
文件
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<!--依赖dubbo-api项目工程-->
<dependency>
<groupId>com.zhang</groupId>
<artifactId>dubbo-api</artifactId>
<version>0.0.1-SNAPSHOT</version>
<scope>compile</scope>
</dependency>
<!--dubbo的起步依赖-->
<dependency>
<groupId>org.apache.dubbo</groupId>
<artifactId>dubbo-spring-boot-starter</artifactId>
<version>2.7.7</version>
</dependency>
<!--zookeeper及其依赖包,解决日志冲突,还需要剔除日志依赖-->
<dependency>
<groupId>org.apache.curator</groupId>
<artifactId>curator-framework</artifactId>
<version>2.12.0</version>
</dependency>
<dependency>
<groupId>org.apache.curator</groupId>
<artifactId>curator-recipes</artifactId>
<version>2.12.0</version>
</dependency>
<dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<version>3.4.14</version>
<!--排除这个slf4j-log4j12-->
<exclusions>
<exclusion>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
</exclusion>
</exclusions>
</dependency>
测试:
http://localhost:8082/order/hello
http://localhost:8082/order/user/1