高并发限流方案 缓存、降级和限流

在开发高并发系统时有三把利器用来保护系统：缓存、降级和限流。缓存的目的是提升系统访问速度和增大系统能处理的容量，可谓是抗高并发流量的银弹；而降级是当服务出问题或者影响到核心流程的性能则需要暂时屏蔽掉，待高峰或者问题解决后再打开；而有些场景并不能用缓存和降级来解决，比如稀缺资源（秒杀、抢购）、写服务（如评论、下单）、频繁的复杂查询（评论的最后几页），因此需有一种手段来限制这些场景的并发/请求量，即限流。

限流的目的是通过对并发访问/请求进行限速或者一个时间窗口内的的请求进行限速来保护系统，一旦达到限制速率则可以拒绝服务（定向到错误页或告知资源没有了）、排队或等待（比如秒杀、评论、下单）、降级（返回兜底数据或默认数据，如商品详情页库存默认有货）。

一般开发高并发系统常见的限流有：限制总并发数（比如数据库连接池、线程池）、限制瞬时并发数（如nginx的limit_conn模块，用来限制瞬时并发连接数）、限制时间窗口内的平均速率（如Guava的RateLimiter、nginx的limit_req模块，限制每秒的平均速率）；其他还有如限制远程接口调用速率、限制MQ的消费速率。另外还可以根据网络连接数、网络流量、CPU或内存负载等来限流。

单应用限流

在单应用中，后端服务的限流实现起来很简单，比如使用信号量来限制线程数量。根据线上压测结果，QPS峰值*平均响应时间得到最大并发数。

单例的信号量实例

import java.util.concurrent.Semaphore;
 
/**
 * @ClassName SemaphoreUtil
 * @Author yjclsx
 * @Description 信号量并发访问控制
 * @Date 2019/1/30 11:22
 * @Version 1.0
 */
public class SemaphoreUtil {
 
    /**
     * 线上API压测的峰值QPS为100，平均响应时间近1s，所以接口的最大并发量为100*1=100
     */
    public static final Semaphore semaphore = new Semaphore(100);
 
    private SemaphoreUtil(){}
 
}

在接口的拦截器中增加并发控制，当超过最大线程数时，直接拒绝访问 

if(SemaphoreUtil.semaphore.tryAcquire()){
	try {
		...
	}finally {
		SemaphoreUtil.semaphore.release();
	}
}else{
	throw new ServiceException("系统繁忙，请稍后再试！");
}

 

分布式系统限流

在分布式系统中，后端服务的限流可以用redis实现，比如通过redis实现限制每个接口的每秒请求数量。

在redis里放置计数器，key用时间戳（精确到秒）+apiPath，value是该API接口在该秒内累计的请求次数，在你的代码中增加统一的限流拦截器，每次请求都将此计数器加一，当超过预设的阈值时就拒绝访问（比如返回自定义http错误码5xx）。当时间窗口流转到下一秒时，由于key变化了，所以会自动使用新的计数器，之前的计数器可以设定一个超时时间来自动过期。

当然实现限流的方案还有很多种，大家都来说说自己系统的限流方案吧！