限流器和熔断器技术选型

限流器和熔断器技术选型

1、目前困难

大家应该听过服务的“雪崩效应”，在微服务开发中，如果某个底层的服务出现故障，一直阻塞，那么上层依赖它的服务堆积的线程会越来越多，上上层的服务也会随之堆积，堆积到上限后，导致整个系统崩溃。目前我们的系统也频繁出现此类问题，导致网关需要不断的扩容，目前在网关上，已经通过在servlet中采用线程池异步化了请求，已经可以限制单个网关实例的最大请求数量（设置了300个），这样一来网关是不会再崩溃了，但是如果不稳定的请求或慢请求占据了整个线程池，依然会导致其他核心业务的请求被拒绝或响应变慢。我们需要从更细的粒度控制不稳定的服务，保障应用的高可用。

 

2、服务降级

为了解决上述的雪崩问题，就是把故障隔离，首先我们认为服务是可以区分重要等级的，在一个请求中往往调用了多个服务，其中包含一部分非关键业务的操作和查询，例如在查询客户详情时，查询配偶信息的接口总超时，客户的配偶信息相对于客户本身的信息可能就没那么重要，不能因为配偶信息超时影响到整个客户信息的查询，这时可以舍弃配偶信息的查询。那么系统怎么知道某个服务出现了故障呢，很显然我们能想到频繁的抛错和频繁的超时的时候，服务一定是出现了问题，为了最大程度保障服务的可用，对于每个请求保证主要业务能执行成功，熔断非主要业务，这就是我们所说的服务降级的一个例子。服务降级往往是按一定指标舍弃掉系统中耗时长、频繁抛出异常的非关键服务。

降级的处理方式，返回默认值，返回缓存里面的值（包括远程缓存比如redis和本地缓存比如jvmcac