常见的三种限流算法
计数器算法
设置一个计数器counter,其有效时间为1分钟(即每分钟计数器会被重置为0),每当一个请求过来的时候,counter就加1,如果counter的值大于100,就拦截直至下一分钟计数器被重置为0。
令牌桶算法
- 令牌以固定速率产生,并缓存到令牌桶中。
- 令牌桶放满时,多余的令牌被丢弃。
- 请求要消耗等比例的令牌才能被处理。
- 令牌不够时,请求被缓存或者被拒绝。
漏桶算法
- 水(请求)从上方倒入水桶,从水桶下方流出(被处理)。
- 来不及流出的水存在水桶中(缓冲),以固定速率流出。
- 水桶满后水溢出(丢弃)。
这个算法的核心是:缓存请求、匀速处理、多余的请求直接丢弃。
相比漏桶算法,令牌桶算法不同之处在于它不但有一只“桶”,还有个队列,这个桶是用来存放令牌的,队列才是用来存放请求的。
配置示例
ngx_http_limit_req_module(使用漏桶算法实现限流)
http {
limit_req_zone $binary_remote_addr zone=mylimit:10m rate=500r/s;
# 第一个参数:$binary_remote_addr 表示通过remote_addr这个标识来做限制,“binary_”的目的是缩写内存占用量,是限制同一客户端ip地址。对于IPv4地址,$binary_remote_addr变量的大小始终为4字节,对于 IPv6地址,则始终为16字节。存储状态在32位平台上始终占用64个字节,在64位平台上始终占用128个字节。1M的区域可以保存大约16,000个64字节状态或大约8,000个128字节状态。
# 第二个参数:zone=mylimit:10m表示生成一个大小为10M,名字为mylimit的内存区域,用来存储访问的频次信息。
# 第三个参数:rate=500r/s表示允许相同标识的客户端的访问频次,这里限制的是每秒500次,还可以有比如 30r/m的(需要注意的是nginx的计算单位是ms,所以例如设置的速率为2r/s,也就是1r/500ms,每500毫秒才会允许访问一次)
server {
location /search/ {
limit_req zone=mylimit burst=5 nodelay;
# 第一个参数:zone=one 设置使用哪个配置区域来做限制,与上面limit_req_zone 里的name对应。
# 第二个参数:burst=5,这个配置的意思是设置一个大小为5的缓冲区当有突发的大量请求过来时,超过了访问频次限制的请求可以先放到这个缓冲区内。
# 第三个参数:nodelay,如果设置,在burst缓存区内的请求可以立即被处理,如果没有设置,则所有进入burst缓存区内的请求都会按照rate的速率限制来执行请求,这就有点类似于令牌桶算法的限流。(请注意,这意味着burst设置了nodelay时,系统瞬间的QPS可能会超过rate设置的阈值。nodelay参数要跟burst一起使用才有作用)
limit_req_status 503;
# 默认limit_req返回503,可以设置400到599之间。
}
}
ngx_http_limit_conn_module(限制单个IP的请求数,并非所有的连接都被计数。只有在服务器处理了请求并且已经读取了整个请求头时,连接才被计数)
http {
limit_conn_zone $binary_remote_addr zone=perip:10m;
limit_conn_zone $server_name zone=perserver:10m;
server {
limit_conn perip 10;
# 限制每个IP只允许10个连接。
limit_conn perserver 100;
# 限制每个server_name只允许100个连接。
limit_conn_status 503;
# 超过限制的连接数返回503。
}
}