高并发API限流策略

高并发系统常用策略

• 缓存：缓存的目的是提升系统访问速度和增大系统处理容。
• 降级：降级是当服务出现问题或者影响到核心流程时，需要暂时屏蔽掉，待高峰或者问题解决后再打开。
• 限流：限流的目的是通过对并发访问量限制，或者对一个时间窗口内的请求进行限速来保护系统，一旦达到限制速率则可以拒绝服务、排队或等待、降级等处理。
• 分流：分流是为了将流量分发到多个服务进行处理，以便总体可以支撑巨大流量。

限流常用策略

常见限流模式有：控制并发和控制速率。控制并发是限制并发的总数量（比如数据库连接池、线程池等），控制速率是限制并发访问的速率（如nginx的limit_conn模块，用来限制瞬时并发连接数）。另外还可以限制单位时间窗口内的请求数量（如Guava的RateLimiter、nginx的limit_req模块，限制每秒的平均速率）。其他限流还可以限制远程接口调用速率、限制MQ的消费速率，根据网络连接数、网络流量、CPU或内存负载等来限流等。

控制并发量

在实际应用中可以通过信号量机制（Semaphore，线程安全：无名信号量，进程安全：有名信号量、V信号量）来实现。Semaphore可以控制某个资源可被同时访问的个数，通过 acquire() 获取一个许可，如果没有就等待，而 release() 释放一个许可。

例如：

public class SemaphoreService { 
    private final Semaphore permit = new Semaphore(10, true);
 
    public void process(){ 
        try{
            permit.acquire();
            //业务逻辑处理 
        } catch (InterruptedException e) {
            e.printStackTrace();
        } finally {
            permit.release();
        }
    }
}

Semaphore(10)表示允许10个线程获取许可证，也就是最大并发数是10。Semaphore可以用tryAcquire()方法尝试获取许可证。

控制访问速率

• 漏桶算法

漏桶(Leaky Bucket)算法思路：水(请求)先进入到漏桶里,漏桶以一定的速度出水(接口有响应速率),当水流入速度过大会直接溢出(访问频率超过接口响应速率),然后就拒绝请求,可以看出漏桶算法能强行限制数据的传输速率。示意图如下:

 

这里有两个变量,一个是桶的大小,支持流量突