1.1Hystrix:服务熔断:
分布式面临的问题
复杂的分布式体系结构中的应用程序有数十个依赖关系,每个依赖关系在某些时候或将有不可避免的失败!
1.2服务雪崩
比如现在有三个服务,Service A
的流量波动很大,流量经常会突然性增加!那么在这种情况下,就算Service A
能扛得住请求,Service B
和Service C
未必能扛得住这突发的请求。
此时,如果Service C
因为抗不住请求,变得不可用。那么Service B
的请求也会阻塞,慢慢耗尽Service B
的线程资源,Service B
就会变得不可用。紧接着,Service A
也会不可用
对于高流量的应用来说,单一的后端依赖可能会导致所有服务器上的所有资源都在几十秒内饱和。比失败更糟糕的是,这些应用程序还可能导致服务之间的延迟增加,备份队列,线程和其他系统资源紧张,导致整个系统发生更多的级联故障,这些都表示需要对故障和延迟进行隔离和管理,以达到单个依赖关系的失败而不影响整个应用程序或系统运行。
我们需要,弃车保帅!
什么是Hystrix
Hystrix是一个应用于处理分布式系统延迟和容错的开源库,在分布式系统里,许多依赖不可避免的会调用失败,比如超时,异常等,Hystrix能够保证在一个依赖出现问题的情况下,不会导致整个体系服务失败,避免级联故障,以提高分布式系统的弹性,
"断路器"本身是一种开关装置,当某个服务单元发生故障后,通过断路器的故障监控,(类似熔断保险丝),向调用方返回一个预期的,可处理的备选响应(FallBack),而不是长时间等待或者抛出调用方法无法处理的异常,这样就保证了服务调用方的线程不会长时间等待,不必要的占用,从而避免了故障在分布式系统中蔓延,乃至雪崩.
Hystrix能干嘛
- 服务熔断
- 服务降级
- 服务限流
- 接近实时的监控
- ......
当一切正常时,请求流可以如下所示:
当许多后端系统中有一个潜在的阻塞服务时,它可以阻止整个用户的请求:
随着大容量通信量的增加,单个后端依赖项的潜在性会导致所有服务器上的所有资源在几秒钟内饱和。
应用程序中通过网络或客户端库可能导致网络请求的每个点都是潜在故障的来源。比失败更糟糕的是,这些应用程序还可能导致服务之间的延迟增加,从而备份队列、线程和其他系统资源,从而导致更多跨系统的级联故障。
当使用Hystrix包装每个基础依赖项时,上面的图表中所示的体系结构会发生类似于以下关系图的变化。每个依赖项是相互隔离的,限制在延迟发生时它可以填充的资源中,并包含在回退逻辑中,该逻辑决定在依赖项中发生任何类型的故障时要做出什么样的响应:
服务熔断
什么是服务熔断?
熔断机制是赌赢雪崩效应的一种微服务链路保护机制.
当扇出链路的某个服务不可用或者响应时间太长时,会对服务进行降级,进而熔断该节点微服务的调用,快速返回错误的响应信息,检测到该节点微服务调用响应正常后恢复调用链路,在SpringCloud框架里熔断的机制通过Hystrix实现,Hystrix会监控微服务之间的调用状况,当失败的调用到一定的阈值缺省时5秒内20次调用失败,就会启动熔断机制,熔断机制的注解是
@HystrixCommand
服务熔断解决如下问题:
当所依赖的对象不稳定时,能够起到快速失败的目的,
快速失败后,能够根据一定的算法动态试探所依赖的对象是否恢复,
入门案例
新建springcloud-provider-dept-hystrix-8001模块并拷贝springcloud-provider-dept–8001内的pom.xml、resource和Java代码进行初始化并调整。
导入hystrix依赖
<!--hystrix-->
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-hystrix</artifactId>
<version>1.4.7.RELEASE</version>
</dependency>
调整application.yml配置文件
server:
port: 8001
#mybatis的配置
mybatis:
mapper-locations: classpath:mapper/*.xml
#spring的配置
type-aliases-package: com.chen.springcloud.pojo
spring:
application:
name: spring-cloud-provider
datasource:
type: com.alibaba.druid.pool.DruidDataSource
url: jdbc:mysql://localhost:3306/db01?serverTimezone=UTC&useUnicode=true&characterEncoding=utf-8
username: root
password: 123456
driver-class-name: com.mysql.jdbc.Driver
eureka:
client:
service-url:
defaultZone: http://eureka7001.com:7001/eureka/,http://eureka7002.com:7002/eureka/,http://eureka7003.com:7003/eureka/
instance:
instance-id: spring-provider-hystrix-8001
prefer-ip-address: true
management:
endpoints:
web:
exposure:
include: "*"
prefer-ip-address: true 显示自己的ip地址
修改controller 这里是定义了两个方法,一个正常执行的方法,一个是备选方法,也就是当服务发生错误或者调用超时的时候快速返回的错误信息,同样是返回一个Dept对象
通过@HystrixCommand注解指定备选方法的名字
package com.chen.springcloud.controller;
import com.chen.springcloud.pojo.Dept;
import com.chen.springcloud.service.DeptServiceImpl;
import com.netflix.hystrix.contrib.javanica.annotation.HystrixCommand;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.cloud.openfeign.support.FallbackCommand;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RestController;
import java.util.List;
@RestController
public class DeptController {
@Autowired
private DeptServiceImpl deptService;
@HystrixCommand(fallbackMethod ="HystrixQuery")
@GetMapping("/dept/queryDeptById/get/{id}")
public Dept query(@PathVariable("id") Long id){
Dept dept = deptService.queryOneDept(id);
if (dept==null){
throw new RuntimeException("id"+id+"该用户未找到");
}
return dept;
}
//备选方案
public Dept HystrixQuery(@PathVariable("id") Long id){
return new Dept()
.setDeptno(id)
.setDeptname("id"+id+"该用户未找到,null,@我是Hystrix熔断器的信息")
.setDb_source("no this database in mysql");
}
}
为主启动类添加对熔断的支持注解@EnableCircuitBreaker
@SpringBootApplication
@EnableEurekaClient //注册服务发现
@EnableCircuitBreaker //开启断路器,添加了对断路器的支持
public class DeptProviderHystrix_8081 {
public static void main(String[] args) {
SpringApplication.run(DeptProviderHystrix_8081.class,args);
}
}
测试:
当访问一个不存在的id时,前台展示的数据如下:
而没有使用熔断器的话就会直接报错 ! 因此,为了避免因某个微服务后台出现异常或错误而导致整个应用或网页报错,使用熔断是必要的
服务降级
什么是服务降级?
服务降级是指 当服务器压力剧增的情况下,根据实际业务情况及流量,对一些服务和页面有策略的不处理,或换种简单的方式处理,从而释放服务器资源以保证核心业务正常运作或高效运作。说白了,就是尽可能的把系统资源让给优先级高的服务。
资源有限,而请求是无限的。如果在并发高峰期,不做服务降级处理,一方面肯定会影响整体服务的性能,严重的话可能会导致宕机某些重要的服务不可用。所以,一般在高峰期,为了保证核心功能服务的可用性,都要对某些服务降级处理。比如当双11活动时,把交易无关的服务统统降级,如查看蚂蚁深林,查看历史订单等等。
服务降级主要用于什么场景呢?当整个微服务架构整体的负载超出了预设的上限阈值或即将到来的流量预计将会超过预设的阈值时,为了保证重要或基本的服务能正常运行,可以将一些 不重要 或 不紧急 的服务或任务进行服务的 延迟使用 或 暂停使用。
降级的方式可以根据业务来,可以延迟服务,比如延迟给用户增加积分,只是放到一个缓存中,等服务平稳之后再执行 ;或者在粒度范围内关闭服务,比如关闭相关文章的推荐。
服务降级,当服务器压力剧增的情况下,根据当前业务情况及流量对一些服务和页面有策略的降级,以此释放服务器资源以保证核心任务的正常运行。比如电商平台,在针对618、双11等高峰情形下采用部分服务不出现或者延时出现的情形。
服务熔断:针对服务器的,某个服务连接超时或者异常的时候,引起熔断
服务降级:针对客户端,从整体网站请求负载考虑,当某个服务熔断或则关闭时,服务不在被调用
服务降级需要考虑的问题
1)那些服务是核心服务,哪些服务是非核心服务
2)那些服务可以支持降级,那些服务不能支持降级,降级策略是什么
3)除服务降级之外是否存在更复杂的业务放通场景,策略是什么?
入门案例
在springcloud-api模块下的service包中新建降级配置类DeptClientServiceFallBackFactory.java,当然在本程序声明这个服务类和对应的FallbackFactory类直接使用也可以。就不需要引入另一个模块的内容了。
@Component
//继承失败函数工厂 服务降级
public class DeptClientServiceFactory implements FallbackFactory {
@Override
public Object create(Throwable throwable) {
return new DeptClientService() {
@Override
public boolean addDept(Dept dept) {
return false;
}
@Override
public Dept queryOneDept(Long id) {
return new Dept()
.setDeptno(id)
.setDeptname("id=>"+id+"没有对应的信息,客户端提供了降级的信息,这个服务已经被关闭了")
.setDb_source("没有数据");
}
@Override
public List<Dept> queryDept() {
return null;
}
};
}
}
在DeptClientService中指定降级配置类DeptClientServiceFallBackFactory
@FeignClient(value ="SPRING-CLOUD-PROVIDER",fallbackFactory=DeptClientServiceFactory.class)//配置服务的地址也就是服务的id
@Component
public interface DeptClientService {
/*
注意:这里的mapping要跟服务的提供者的controller的mapping映射路劲要完全一致,否则会报错
*/
@PostMapping("/dept/add")
public boolean addDept(Dept dept);
@GetMapping("/dept/queryDeptById/get/{id}")
Dept queryOneDept(@PathVariable("id") Long id);
@GetMapping("/dept/list")
List<Dept> queryDept();
}
在springcloud-consumer-dept-feign模块中开启降级
application.yml
server:
port: 80
#开启我们的降级服务
feign:
hystrix:
enabled: true
#配置注册中心的地址 去拿到服务
eureka:
client:
register-with-eureka: false
service-url:
defaultZone: http://eureka7001.com:7001/eureka/,http://eureka7002.com:7002/eureka/,http://eureka7003.com:7003/eureka/
启动7001项目、启动8001项目(正常的,或者加了熔断器的都可以,这里就直接使用加了熔断器的提供者)、然后再启动feign的80项目
正常访问 http://localhost/dept/get/1
访问一个没有的数据:触发了熔断机制
现在我们把8001提供者项目服务停掉 再来访问会触发服务降级操作:
说明了什么?说明了服务熔断是被动的,服务降级是手动的,但是开启服务降级后,没有关闭服务,访问一个不存在的数据,也会返回一个客户端自定义的返回结果,当把服务关闭后,访问任何请求都是有客户端自定义的结果。
服务熔断和降级的区别
服务熔断—>作用于服务端:某个服务超时或异常,引起熔断~,类似于保险丝(自我熔断)
服务降级—>作用于客户端:从整体网站请求负载考虑,当某个服务熔断或者关闭之后,服务将不再被调用,此时在客户端,我们可以准备一个 FallBackFactory ,返回一个默认的值(缺省值)。会导致整体的服务下降,但是好歹能用,比直接挂掉强。
触发原因不太一样,服务熔断一般是某个服务(下游服务)故障引起,而服务降级一般是从整体负荷考虑;管理目标的层次不太一样,熔断其实是一个框架级的处理,每个微服务都需要(无层级之分),而降级一般需要对业务有层级之分(比如降级一般是从最外围服务开始)
实现方式不太一样,服务降级具有代码侵入性(由控制器完成/或自动降级),熔断一般称为自我熔断。
熔断,降级,限流:
限流:限制并发的请求访问量,超过阈值则拒绝;
降级:服务分优先级,牺牲非核心服务(不可用),保证核心服务稳定;从整体负荷考虑;
熔断:依赖的下游服务故障触发熔断,避免引发本系统崩溃;系统自动执行和恢复
Dashboard流监控
新建springcloud-consumer-hystrix-dashboard模块
添加依赖:pom.xml
<dependencies>
<!--dashboard服务监控的依赖-->
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-hystrix-dashboard</artifactId>
<version>1.4.6.RELEASE</version>
</dependency>
<!--Hystrix依赖-->
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-hystrix</artifactId>
<version>1.4.6.RELEASE</version>
</dependency>
<!--实体类-->
<dependency>
<groupId>com.chen</groupId>
<artifactId>springcloud-api</artifactId>
<version>1.0-SNAPSHOT</version>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<!-- https://mvnrepository.com/artifact/org.springframework.cloud/spring-cloud-starter-ribbon -->
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-ribbon</artifactId>
<version>1.4.6.RELEASE</version>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-feign</artifactId>
<version>1.4.6.RELEASE</version>
</dependency>
<!--要去注册中心拿到服务还需要引入eureka的依赖-->
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-eureka</artifactId>
<version>1.4.5.RELEASE</version>
</dependency>
</dependencies>
主启动类:
@SpringBootApplication
@EnableEurekaClient //客户端启动类,服务启动时自动向注册中心注册服务
@EnableHystrixDashboard //开启Hystrix监控功能
public class Springcloud_consumer_dashborad_9001 {
public static void main(String[] args) {
SpringApplication.run(Springcloud_consumer_dashborad_9001.class,args);
}
}
给springcloud-provider-dept-hystrix-8001模块下的主启动类添加如下代码,添加监控,表示要监控这个服务(增加一个servlet)
@SpringBootApplication
@EnableEurekaClient //注册服务发现
@EnableCircuitBreaker //开启断路器,添加了对断路器的支持
public class DeptProviderHystrix_8081 {
public static void main(String[] args) {
SpringApplication.run(DeptProviderHystrix_8081.class,args);
}
//增加一个 Servlet
@Bean
public ServletRegistrationBean hystrixMetricsStreamServlet(){
ServletRegistrationBean registrationBean = new ServletRegistrationBean(new HystrixMetricsStreamServlet());
//访问该页面就是监控页面
registrationBean.addUrlMappings("/actuator/hystrix.stream");
return registrationBean;
}
}
访问:http://localhost:9001/hystrix
进入监控界面:
现在监控页面搭载完成
我们要如何监控呢?监控什么呢?
我们监控的是实现了熔断支持的类(主启动类上加了@EnableCircuitBreaker注解),这里我们刚好有一个项目springcloud-provider-dept-hystrix-8001,还有一个前提,服务类必须添加actuator依赖
然后我们修改springcloud-provider-dept-hystrix-8001项目的主启动类,添加一个Servlet,为了配合监控使用
启动7001项目,启动9001项目,启动hystrix的8001项目,然后访问http://localhost:8001/dept/get/1,有返回数据即可
然后访问http://localhost:8001/actuator/hystrix.stream,会得到一些数据流
然后http://localhost:9001/hystrix,填入以下信息即可