1、分布式基础理论
1.1)、什么是分布式系统?
《分布式系统原理与范型》定义:
“分布式系统是若干独立计算机的集合,这些计算机对于用户来说就像单个相关系统”
分布式系统(distributed system)是建立在网络之上的软件系统。
简而言之分布式系统就是将一个完整的系统拆分成多个不同的服务,然后在将每一个服务单独的放到一个服务器当中。
1.2)、发展演变
ORM
单一应用架构:一个项目装到一个服务器当中,也可以运行多个服务器每一个服务器当中都装一个项目。
缺点:1.如果要添加某一个功能的话就要把一个项目重新打包,在分别部署到每一个服务器当中去。2.如果后期项目越来越大的话单台服务器跑一个项目压力会很大的。会不利于维护,开发和程序的性能。
MVC
垂直应用架构:将应用切割成几个互不相干的小应用,在将每个小应用独立放到一个服务器上,如果哪一个应用的访问数量多就多加几台服务器。
RPC
分布式应用架构(远程过程调用):当垂直应用越来越多,应用之间交互不可避免,将核心业务抽取出来,作为独立的服务,逐渐形成稳定的服务中心,使前端应用能更快速的响应多变的市场需求。
1.3)、RPC
什么叫RPC
RPC【Remote Procedure Call】是指远程过程调用,是一种进程间通信方式,他是一种技术的思想,而不是规范。它允许程序调用另一个地址空间(通常是共享网络的另一台机器上)的过程或函数,而不用程序员显式编码这个远程调用的细节。即程序员无论是调用本地的还是远程的函数,本质上编写的调用代码基本相同。
2、dubbo核心概念
2.1)、简介
Apache Dubbo (incubating) |ˈdʌbəʊ| 是一款高性能、轻量级的开源Java RPC框架,它提供了三大核心能力:面向接口的远程方法调用,智能容错和负载均衡,以及服务自动注册和发现。
2.2)、基本概念
服务提供者(Provider):暴露服务的服务提供方,服务提供者在启动时,向注册中心注册自己提供的服务。
服务消费者(Consumer): 调用远程服务的服务消费方,服务消费者在启动时,向注册中心订阅自己所需的服务,服务消费者,从提供者地址列表中,基于软负载均衡算法,选一台提供者进行调用,如果调用失败,再选另一台调用。
注册中心(Registry):注册中心返回服务提供者地址列表给消费者,如果有变更,注册中心将基于长连接推送变更数据给消费者
监控中心(Monitor):服务消费者和提供者,在内存中累计调用次数和调用时间,定时每分钟发送一次统计数据到监控中心
调用关系说明
1、服务容器负责启动,加载,运行服务提供者。
2、服务提供者在启动时,向注册中心注册自己提供的服务。
3、服务消费者在启动时,向注册中心订阅自己所需的服务。
4、 注册中心返回服务提供者地址列表给消费者,如果有变更,注册中心将基于长连接推送变更数据给消费者。
5、服务消费者,从提供者地址列表中,基于软负载均衡算法,选一台提供者进行调用,如果调用失败,再选另一台调用。
6、服务消费者和提供者,在内存中累计调用次数和调用时间,定时每分钟发送一次统计数据到监控中心。
3、dubbo环境搭建
1、下载解压zookeeper
运行zkServer.cmd
2、安装dubbo-admin管理控制台
运行java -jar dubbo-admin-0.0.1-SNAPSHOT.jar
4、工程架构实例
gmall-user:用户模块(对用户接口的实现)作为服务提供者
在其porm.xml中
对服务提供者的文件配置
1、将服务提供者注册到注册中心(暴露服务)
1)、导入dubbo依赖(2.6.2)\操作zookeeper的客户端(curator)
<!--引入dubbo-->
<!-- https://mvnrepository.com/artifact/com.alibaba/dubbo -->
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>dubbo</artifactId>
<version>2.6.2</version>
</dependency>
<!--注册中心使用的是zookeeper,引入操作zookeeper的客户端-->
<dependency>
<groupId>org.apache.curator</groupId>
<artifactId>curator-framework</artifactId>
<version>2.12.0</version>
</dependency>
2)、配置服务提供者
<!--1、指定当前服务/应用的名字(同样的服务名字相同,不要和别的服务同名-->
<dubbo:application name="user-service-provider"></dubbo:application>
<!--2、指定注册中心的位置-->
<!--<dubbo:registry address="zookeeper://127.0.0.1:2181"></dubbo:registry>-->
<dubbo:registry protocol="zookeeper" address="127.0.0.1:2181"></dubbo:registry>
<!--3、指定通信规则(通信协议?通信端口)端口用的官方文档随便写的-->
<dubbo:protocol name="dubbo" port="20080"></dubbo:protocol>
<!--4、暴露服务 ref,指向服务的真正的实现对象-->
<dubbo:service interface="com.atguigu.gmail.service.UserService" ref="userServiceImpl01">
</dubbo:service>
<!--5、服务的实现 注册bean-->
<bean id="userServiceImpl01" class="com.atguigu.gmail.service.impl.UserServiceImpl"></bean>
<!--连接监控中心-->
<dubbo:monitor protocol="registry"></dubbo:monitor>
2、服务实现类
public class UserServiceImpl implements UserService {
@Override
public List<UserAddress> getUserAddressList(String userId) {
System.out.println("UserServiceImpl...old...");
UserAddress address1 = new UserAddress(1, "北京", "1", "李老师","123","Y");
UserAddress address2 = new UserAddress(2, "深圳", "1", "王老师","456","Y");
return Arrays.asList(address1,address2);
}
3、启动程序
ublic class MainApplication {
public static void main(String[] args) throws IOException {
ClassPathXmlApplicationContext ioc = new ClassPathXmlApplicationContext("provide.xml");
ioc.start();
System.in.read();
}
}
gmall-order-web:订单模块(调用用户模块)作为服务消费者
1、导入dubbo依赖(2.6.2)\操作zookeeper的客户端(curator)
同上省略
2、将服务消费者去注册中心订阅服务提供者的服务地址
<dubbo:reference interface="com.atguigu.gmail.service.UserService" id="userService">
</dubbo:reference>
<!--配置监控中心-->
<!--自动发现-->
<dubbo:monitor protocol="registry"></dubbo:monitor>
3、消费者实现类
需要引入一个服务类接口的引用。
@Service
//消费者
public class OrderServiceImpl implements OrderService {
@Autowired
UserService userService;//这里报错可以不用管,不影响结果
public void initOrder(String userId) {
// TODO Auto-generated method stub
System.out.println("用户id:" + userId);
//1、查询用户的收货地址
List<UserAddress> addressList = userService.getUserAddressList(userId);
for (UserAddress userAddress : addressList){
System.out.println(userAddress.getUserAddress());
}
}
}
4、程序启动
public class MainApplication {
public static void main(String[] args) throws IOException {
ClassPathXmlApplicationContext ioc = new ClassPathXmlApplicationContext("provide.xml");
ioc.start();
System.in.read();
}
}
gmall-interface(公共接口层)
1、Bean类 用户地址
Serializable是Java提供的序列化接口,是一个空接口,为对象提供标准的序列化与反序列化操作。
public class UserAddress implements Serializable {
private Integer id;
private String userAddress; //用户地址
private String userId; //用户id
private String consignee; //收货人
private String phoneNum; //电话号码
private String isDefault; //是否为默认地址 Y-是 N-否
} 省略getter、setter、无参构造、有参构造
2、服务提供者和消费者两大接口
public interface OrderService {
//初始化订单
public void initOrder(String userId);
}
public interface UserService {
/**
* 按照用户id返回所有的收货地址
* @param userId
* @return
*/
public List<UserAddress> getUserAddressList(String userId);
}
5、dubbo配置
<!--声明需要调用的远程服务的接口;生成远程服务代理 -->
<!--
-->
<!-- retries="":重试次数,不包含第一次调用,0代表不重试-->
<!-- 幂等(设置重试次数)【查询、删除、修改】、非幂等(不能设置重试次数)【新增】 -->
1、超时时间
由于网络或服务端不可靠,会导致调用出现一种不确定的中间状态(超时)。为了避免超时导致客户端资源(线程)挂起耗尽,必须设置超时时间。
1)Dubbo消费端
优先级: 1)、精确优先 (方法级优先,接口级次之,全局配置再次之)
2)、消费者设置优先(如果级别一样,则消费方优先,提供方次之)
timeout=“0” 默认是1000ms
全局超时配置 <dubbo:consumer timeout=“5000” />
指定接口以及特定方法超时配置 <dubbo:reference interface=“com.foo.BarService”
timeout=“2000”>指定接口限制
<dubbo:method name=“sayHello” timeout=“3000” />通过方法限制 </dubbo:reference>
2)、Dubbo服务端
全局超时配置 <dubbo:provider timeout=“5000” />
指定接口以及特定方法超时配置 <dubbo:provider interface=“com.foo.BarService”
timeout=“2000”>
<dubbo:method name=“sayHello” timeout=“3000” /> </dubbo:provider>
2、重试次数
失败自动切换,当出现失败,重试其它服务器,但重试会带来更长延迟。可通过 retries=“2” 来设置重试次数(不含第一次)。
重试次数配置如下:
<dubbo:service retries=“2” />
或
<dubbo:reference retries=“2” />
或
dubbo:reference
<dubbo:method name=“findFoo” retries=“2” />
</dubbo:reference>
3、版本号
当一个接口实现,出现不兼容升级时,可以用版本号过渡,版本号不同的服务相互间不引用。
可以按照以下的步骤进行版本迁移:
在低压力时间段,先升级一半提供者为新版本
再将所有消费者升级为新版本
然后将剩下的一半提供者升级为新版本
整体实际运用
服务端
<dubbo:service interface="com.atguigu.gmail.service.UserService"
ref="userServiceImpl01" timeout="1000" version="1.0.0">
<dubbo:method name="getUserAddressList" timeout="1000"></dubbo:method>
</dubbo:service>
<!--同一设置服务提供方的规则-->
<dubbo:provider timeout="1000"></dubbo:provider>
<!--5、服务的实现-->
<bean id="userServiceImpl01" class="com.atguigu.gmail.service.impl.UserServiceImpl"></bean>
<!--连接监控中心-->
<dubbo:monitor protocol="registry"></dubbo:monitor>
<dubbo:service interface="com.atguigu.gmail.service.UserService"
ref="userServiceImpl01" timeout="1000" version="2.0.0">
<dubbo:method name="getUserAddressList" timeout="1000"></dubbo:method>
</dubbo:service>
<bean id="userServiceImpl02" class="com.atguigu.gmail.service.impl.UserServiceImpl2"></bean>
消费者
<dubbo:reference interface="com.atguigu.gmail.service.UserService"
id="userService" timeout="5000" retries="3" version="1.0.0"
stub="com.atguigu.gmail.service.impl.UserServiceStub">
</dubbo:reference>
<!--配置当前消费者的统一规则,所有的服务都不检查-->
<dubbo:consumer check="false"></dubbo:consumer>
<!--配置监控中心-->
<!--自动发现--> <dubbo:monitor protocol="registry"></dubbo:monitor>
<!--<dubbo:monitor address="127.0.0.1:7070"></dubbo:monitor>-->
六、高可用
1、zookeeper宕机与dubbo直连
现象:zookeeper注册中心宕机,还可以消费dubbo暴露的服务。
原因:
健壮性
监控中心宕掉不影响使用,只是丢失部分采样数据
数据库宕掉后,注册中心仍能通过缓存提供服务列表查询,但不能注册新服务
注册中心对等集群,任意一台宕掉后,将自动切换到另一台
注册中心全部宕掉后,服务提供者和服务消费者仍能通过本地缓存通讯
服务提供者无状态,任意一台宕掉后,不影响使用
服务提供者全部宕掉后,服务消费者应用将无法使用,并无限次重连等待服务提供者恢复
高可用:通过设计,减少系统不能提供服务的时间;
2、集群下dubbo负载均衡配置
在集群负载均衡时,Dubbo 提供了多种均衡策略,缺省为 random 随机调用。
负载均衡策略
Random LoadBalance
随机,按权重设置随机概率。 在一个截面上碰撞的概率高,但调用量越大分布越均匀,而且按概率使用权重后也比较均匀,有利于动态调整提供者权重。
RoundRobin LoadBalance
轮循,按公约后的权重设置轮循比率。
存在慢的提供者累积请求的问题,比如:第二台机器很慢,但没挂,当请求调到第二台时就卡在那,久而久之,所有请求都卡在调到第二台上。
LeastActive LoadBalance
最少活跃调用数,相同活跃数的随机,活跃数指调用前后计数差。 使慢的提供者收到更少请求,因为越慢的提供者的调用前后计数差会越大。
ConsistentHash LoadBalance
一致性 Hash,相同参数的请求总是发到同一提供者。
当某一台提供者挂时,原本发往该提供者的请求,基于虚拟节点,平摊到其它提供者,不会引起剧烈变动。算法参见:http://en.wikipedia.org/wiki/Consistent_hashing
缺省只对第一个参数 Hash,如果要修改,请配置 <dubbo:parameter key=“hash.arguments”
value=“0,1” /> 缺省用 160 份虚拟节点,如果要修改,请配置 <dubbo:parameter
key=“hash.nodes” value=“320” />
3、服务熔断与降级处理
1、服务降级
什么是服务降级?
当服务器压力剧增的情况下,根据实际业务情况及流量,对一些服务和页面有策略的不处理或换种简单的方式处理,从而释放服务器资源以保证核心交易正常运作或高效运作。
可以通过服务降级功能临时屏蔽某个出错的非关键服务,并定义降级后的返回策略。
向注册中心写入动态配置覆盖规则:
RegistryFactory registryFactory =
ExtensionLoader.getExtensionLoader(RegistryFactory.class).getAdaptiveExtension();
Registry registry =
registryFactory.getRegistry(URL.valueOf(“zookeeper://10.20.153.10:2181”));
registry.register(URL.valueOf(“override://0.0.0.0/com.foo.BarService?category=configurators&dynamic=false&application=foo&mock=force:return+null”));
其中:
mock=force:return+null 表示消费方对该服务的方法调用都直接返回 null 值,不发起远程调用。用来屏蔽不重要服务不可用时对调用方的影响。
还可以改为 mock=fail:return+null 表示消费方对该服务的方法调用在失败后,再返回 null 值,不抛异常。用来容忍不重要服务不稳定时对调用方的影响。
2、集群容错
在集群调用失败时,Dubbo 提供了多种容错方案,缺省为 failover 重试。
集群容错模式
Failover Cluster
失败自动切换,当出现失败,重试其它服务器。通常用于读操作,但重试会带来更长延迟。可通过 retries=“2” 来设置重试次数(不含第一次)。
重试次数配置如下:
<dubbo:service retries=“2” />
或
<dubbo:reference retries=“2” />
或
dubbo:reference
<dubbo:method name=“findFoo” retries=“2” />
</dubbo:reference>
Failfast Cluster
快速失败,只发起一次调用,失败立即报错。通常用于非幂等性的写操作,比如新增记录。
Failsafe Cluster
失败安全,出现异常时,直接忽略。通常用于写入审计日志等操作。
Failback Cluster
失败自动恢复,后台记录失败请求,定时重发。通常用于消息通知操作。
Forking Cluster
并行调用多个服务器,只要一个成功即返回。通常用于实时性要求较高的读操作,但需要浪费更多服务资源。可通过 forks=“2” 来设置最大并行数。
Broadcast Cluster
广播调用所有提供者,逐个调用,任意一台报错则报错 [2]。通常用于通知所有提供者更新缓存或日志等本地资源信息。
集群模式配置
按照以下示例在服务提供方和消费方配置集群模式
<dubbo:service cluster=“failsafe” />
或
<dubbo:reference cluster=“failsafe” />