文章目录
Spring Boot——分布式 Dubbo和Zookeeper
1、分布式系统理论
在《分布式系统与原理》一书中有如下定义:“分布式系统是若干独立计算机的集合,这些计算机对于用户来说就像单个相关系统”;
分布式系统是由一组通过网络进行通信,为了完成共同的任务而协调工作的计算机节点组成的系统。分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务。其目的是利用更多的机器,处理更多的数据。
分布式系统(distributed system)是建立在网络之上的软件系统。
首先需要明确的是,只有当单个节点的处理能力无法满足日益增长的计算、存储任务的时候,且硬件的提升(加内存,加磁盘,使用更好的cpu)高昂到得不偿失的时候,应用程序也不能进一步优化的时候,我们才需要考虑分布式系统。因为,分布式系统要解决的问题本身就是和单机系统一样的,而由于分布式系统多节点、通过网络通信的拓扑结构,会引入很多单机系统没有的问题,为了解决这些问题又会引入更多的机制、协议、带来更多的问题。。。
分布式服务架构
RPC
RPC(Remote Procedure Call)远程过程调用,进程间通信方式,它是一种技术的思想,而不是规范。它允许程序调用另一个地址空间(通常是共享网络的另一台机器上)的过程或函数,而不用程序员显式编码这个远程呢过调用的细节。即程序员无论是调用本地的还是远程的函数,本质上编写的调用代码基本相同。
用RPC在服务端调用函数过程:
-
首先客户端需要告诉服务器,需要调用的函数,这里函数和进程ID存在一个映射,客户端远程调用时,需要查一下函数,找到对应的ID,然后执行函数的代码。
-
客户端需要把本地参数传给远程函数,本地调用的过程中,直接压栈即可,但是在远程调用过程中不再同一个内存里,无法直接传递函数的参数,因此需要客户端把参数转换成字节流,传给服务端,然后服务端将字节流转换成自身能读取的格式,是一个序列化和反序列化的过程。
-
数据准备好了之后,如何进行传输?网络传输层需要把调用的ID和序列化后的参数传给服务端,然后把计算好的结果序列化传给客户端,因此TCP层即可完成上述过程,gRPC中采用的是HTTP2协议。
RPC的两个核心模块:
- 通讯
- 序列化:保证数据正确传输
2、Dubbo概述
Dubbo是一款高性能、轻量级的开源Java RPC框架,它提供了三大核心能力:面向接口的远程方法调用,智能容错和负载均衡,以及服务自动注册和发现。
- 面向接口的远程方法调用:就像调用本地方法一样调用远程方法,只需简单配置,没有任何API侵入。
- 智能容错和负载均衡:可在内网替代F5等硬件负载均衡器,降低成本,减少单点。
- 服务自动注册和发现:不再需要写死服务提供方地址,注册中心基于接口名查询服务提供者的IP地址,并且能够平滑添加或删除服务提供者。
简单的说,Dubbo就是个服务框架,如果没有分布式的需求,其实是不需要用的,只有在分布式的时候,才有Dubbo这样的分布式服务框架的需求,并且本质上是服务调用,Dubbo说白了就是个远程服务调用(RPC)的分布式框架
Dubbo的架构图
上图中节点角色的说明
节点 | 角色说明 |
---|---|
Provider | 暴露服务的服务提供方,服务提供者在启动时,向注册中心注册自己提供的服务。如果注册失败,注册中心返回服务提供者地址列表给消费者,如果有变更,注册中心将基于长连接推送变更数据给消费者。 |
Consumer | 调用远程服务的服务消费方,服务消费者在启动时,在注册中心订阅自己所需的服务。如果订阅失败,服务消费者,从提供者地址列表中,基于软负载均衡算法,选一台提供者进行调用,如果调用失败,再选另一台调用。 |
Registry | 服务注册与发现的注册中心 |
Monitor | 统计服务的调用次数和调用时间的监控中心 |
Container | 服务运行容器 |
调用关系说明
- 服务容器负责启动,加载,运行服务提供者。
- 服务提供者在启动时,向注册中心注册自己提供的服务。
- 服务消费者在启动时,向注册中心订阅自己所需的服务。
- 注册中心返回服务提供者地址列表给消费者,如果有变更,注册中心将基于长连接推送变更数据给消费者。
- 服务消费者,从提供者地址列表中,基于软负载均衡算法,选一台提供者进行调用,如果调用失败,再选另一台调用。
- 服务消费者和提供者,在内存中累计调用次数和调用时间,定时每分钟发送一次统计数据到监控中心。
Dubbo 架构具有以下几个特点,分别是连通性、健壮性、伸缩性、以及向未来架构的升级性。
3、安装ZooKeeper注册中心
Zookeeper 是 Apache Hadoop 的子项目,是一个树型的目录服务,支持变更推送,适合作为 Dubbo 服务的注册中心,工业强度较高,可用于生产环境,并推荐使用 。
1、下载并解压Zookeeper
2、下载后打开bin目录
双击打开服务端,可能会出现闪退。
解决办法:
3、启动cmd测试
先打开服务端,在打开客户端进行测试:
-
在客户端输入
ls /
命令, 查看到根目录下有一个zookeeper的目录。 目录就是一个节点。 /根节点 zookeeper是子节点
- 在根目录下添加一个节点:
- 查看添加节点的信息:
测试完成,OK!
4、安装测试Dubbo-admin
Dubbo-admin是一个监控管理后台,可以查看服务提供方注册了哪些服务,哪些服务被服务消费方消费了。
1、下载并解压
2、把项目打包成一个jar包
这里已经打包好了:链接:https://pan.baidu.com/s/1HyWK7_R1XnJEY2T3NiFvvw
提取码:n7s3
3、启动Zookeeper服务端,再通过cmd运行上面的jar包(命令:java -jar dubbo-admin-0.0.1-SNAPSHOT.jar
)
4、访问请求:localhost:7001,会出现登录界面,用户名,密码默认都为root。
点击登录,成功进入dubbo-admin界面:
5、springboot整合Dubbo和Zookeeper简单案例
新建一个空项目
在空项目里建一个子项目:provider-server,作为服务提供方;
再建一个子项目:consumer-server,作为服务消费方
5.1、实现服务注册
1、在provider-server项目导入依赖:
<!--导入依赖dubbo-->
<dependency>
<groupId>org.apache.dubbo</groupId>
<artifactId>dubbo-spring-boot-starter</artifactId>
<version>2.7.3</version>
</dependency>
<!--导入依赖zookeeper客户端-->
<!-- https://mvnrepository.com/artifact/com.github.sgroschupf/zkclient -->
<dependency>
<groupId>com.github.sgroschupf</groupId>
<artifactId>zkclient</artifactId>
<version>0.1</version>
</dependency>
<!--排除日志冲突-->
<dependency>
<groupId>org.apache.curator</groupId>
<artifactId>curator-framework</artifactId>
<version>2.12.0</version>
</dependency>
<dependency>
<groupId>org.apache.curator</groupId>
<artifactId>curator-recipes</artifactId>
<version>2.12.0</version>
</dependency>
<dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<version>3.5.9</version>
<!--排除这个slf4j-log4j12-->
<exclusions>
<exclusion>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
</exclusion>
</exclusions>
</dependency>
提供买票服务:
service层
//提供票
public interface provideTicket {
public String getTicket();
}
service层实现类
@Component
@Service//服务加上这个注解,就可以被注册中心zookeeper发现并扫描到
public class TicketServiceImpl implements TicketService{
@Override
public String provideTicket() {
return "买票成功";
}
}
编写配置文件:
server.port=8001
#服务应用名
dubbo.application.name=provider-server
#注册中心地址
dubbo.registry.address=zookeeper://127.0.0.1:2181
#需要注册的服务
dubbo.scan.base-packages=com.cheng.service
2、启动程序测试
先启动zookeeper注册中心服务端,再启动provider-server服务提供方,然后运行dubbo-admin的jar包,运行防暑和上面相同,最后访问请求localhost://7001检查我们的服务是否成功注册:
服务注册成功!点进去还可查看服务的详细信息:
5.2、实现服务消费
1、在consume-server项目导入依赖:
<!--导入依赖dubbo-->
<dependency>
<groupId>org.apache.dubbo</groupId>
<artifactId>dubbo-spring-boot-starter</artifactId>
<version>2.7.3</version>
</dependency>
<!--导入依赖zookeeper客户端-->
<!-- https://mvnrepository.com/artifact/com.github.sgroschupf/zkclient -->
<dependency>
<groupId>com.github.sgroschupf</groupId>
<artifactId>zkclient</artifactId>
<version>0.1</version>
</dependency>
<!--排除日志冲突-->
<dependency>
<groupId>org.apache.curator</groupId>
<artifactId>curator-framework</artifactId>
<version>2.12.0</version>
</dependency>
<dependency>
<groupId>org.apache.curator</groupId>
<artifactId>curator-recipes</artifactId>
<version>2.12.0</version>
</dependency>
<dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<version>3.5.9</version>
<!--排除这个slf4j-log4j12-->
<exclusions>
<exclusion>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
</exclusion>
</exclusions>
</dependency>
编写配置文件
server.port=8002
#服务消费方拿服务需要暴露自己的名字
dubbo.application.name=consumer-server
#注册中心的地址
dubbo.registry.address=zookeeper://127.0.0.1:2181
service层
@Service//注入spring容器
public class UserService {
//服务消费方从注册中心拿到服务
@Reference//远程注入服务 注入方式:把服务提供方的接口(TicketService)拷贝到服务消费方目录中,要和在提供方里的路径相同,(该方式更适合用于学习)
TicketService ticketService;
public void buyTicket() {
String ticket = ticketService.getTicket();
System.out.println("在注册中心拿到--》"+ticket);
}
}
测试类测试:
@Autowired
UserService userService;
@Test
void contextLoads() {
userService.buyTicket();
}
成功:
启动consume-server程序,刷新dubbo-admin界面,会有服务消费者记录:
5.3、总结
实现服务注册:
- 导入依赖
- 配置注册中心地址,服务名和要扫描的服务
- 在要被注册的服务上加注解@Service(dubbo包下的,如果是新版dubbo可以加@DubboService)
实现服务消费:
- 导入依赖
- 配置注册中心,暴露消费者的服务名
- 从远处注入服务,用@Reference