高并发系统常用策略
- 缓存:缓存的目的是提升系统访问速度和增大系统处理容。
- 降级:降级是当服务出现问题或者影响到核心流程时,需要暂时屏蔽掉,待高峰或者问题解决后再打开。
- 限流:限流的目的是通过对并发访问量限制,或者对一个时间窗口内的请求进行限速来保护系统,一旦达到限制速率则可以拒绝服务、排队或等待、降级等处理。
- 分流:分流是为了将流量分发到多个服务进行处理,以便总体可以支撑巨大流量。
限流常用策略
常见限流模式有:控制并发和控制速率。控制并发是限制并发的总数量(比如数据库连接池、线程池等),控制速率是限制并发访问的速率(如nginx的limit_conn模块,用来限制瞬时并发连接数)。另外还可以限制单位时间窗口内的请求数量(如Guava的RateLimiter、nginx的limit_req模块,限制每秒的平均速率)。其他限流还可以限制远程接口调用速率、限制MQ的消费速率,根据网络连接数、网络流量、CPU或内存负载等来限流等。
控制并发量
在实际应用中可以通过信号量机制(Semaphore,线程安全:无名信号量,进程安全:有名信号量、V信号量)来实现。Semaphore可以控制某个资源可被同时访问的个数,通过 acquire() 获取一个许可,如果没有就等待,而 release() 释放一个许可。
例如:
public class SemaphoreService {
private final Semaphore permit = new Semaphore(10, true);
public void process(){
try{
permit.acquire();
//业务逻辑处理
} catch (InterruptedException e) {
e.printStackTrace();
} finally {
permit.release();
}
}
}
Semaphore(10)表示允许10个线程获取许可证,也就是最大并发数是10。Semaphore可以用tryAcquire()方法尝试获取许可证。
控制访问速率
- 漏桶算法
漏桶(Leaky Bucket)算法思路:水(请求)先进入到漏桶里,漏桶以一定的速度出水(接口有响应速率),当水流入速度过大会直接溢出(访问频率超过接口响应速率),然后就拒绝请求,可以看出漏桶算法能强行限制数据的传输速率。示意图如下:
这里有两个变量,一个是桶的大小,支持流量突