![e49b2e4f41fd43c74a383d3f8f08d4cc.png](https://i-blog.csdnimg.cn/blog_migrate/02cf6ddc16bf859f99c75bde030c8083.jpeg)
在高并发的场景下,我们的优化和保护系统的方式通常有:多级缓存、资源隔离、熔断降级、限流等等。
今天我们来聊聊限流。
引子
我们为什么需要限流?
举个比较简单的例子,正常来说,一个员工A他每天能够处理的工作是10个,突然某一天来了100个工作量,这时候,如果员工A还处理100个,只有一种可能,这个员工被压垮。
如果我们能预先知道会有100个任务回来,我们可以做加员工数或定义消息队列等等。但是我们很多时候无法预料这些意外的。根据 墨菲定律 ,坏事往往会接踵而来,有可能某个点挂了会引起全局的挂掉(雪崩)。因此我们不得不对我们的系统做一些保护措施。限流是其中之一。
针对秒杀这类场景,我们也可以做一些限流措施,而不影响到系统全局。
限流方式之计数器(滑动窗口协议)
思路:限速,我们可能第一个想到的应该是,我通过一个计数器,进行技术,如果超过了计数器阀值,表示速度太快了。一秒一个计数器。
![6e0379e126855f9f37f5cfb58875e55e.png](https://i-blog.csdnimg.cn/blog_migrate/ad75911e7983880f8d88600865f8b03f.jpeg)
计数器.png
为了便于阅读,我只截图了主要的代码片段。
![041d0cf05961d0ad7ef07a1c0f815350.png](https://i-blog.csdnimg.cn/blog_migrate/726ca983c1e051db66023a9a0783c74e.jpeg)
代码片段
这样有个问题就是:粒度太大了,不均匀,针对1秒一下的,没法辨析。
我们能不能把粒度拆细了,1秒拆成10个100毫秒。每一个100毫秒有一个计数器。了解TCP/IP的应该知道,TCP/IP为了增加传输速度和控制传输速度,有个叫“滑动窗口协议”。
就算拆得再细,也无法解决匀速限制速度的问题。
而且还有个临界点问题,比如假如,一秒限制10个请求,在第1秒钟,第2秒 之间,第1秒后半段时间10个请求,第2秒前半段10个请求,那第1秒后半段+第2秒前半段时间组成的一秒钟里就有20个请求,没有起到限速的作用。
有没有更好的办法呢?
限速方式之漏桶算法
在生活中,如果一桶有一个细眼,我们往里面装水,可以看到水是一滴一滴匀速的下落的,哪我们能不能通过程序来实现这种方式呢。
思路:桶为容器,一滴水为一请求。如果桶满了就拒绝请求,没满处理请求。
![c231dbd3b3764a9953b32ee98cdc2bd5.png](https://i-blog.csdnimg.cn/blog_migrate/c01a0abd324e0a69f3d5635d3282c771.jpeg)
漏桶算法.png
代码片段
![225c9e94a4cc0a64d8354b3e3b309d66.png](https://i-blog.csdnimg.cn/blog_migrate/e76f3d4ee2433de012db1d8ae85fc610.jpeg)
漏桶算法
在段代码中
- 首先计算这次请求与上次请求来的时候,总共漏了多少水。
- 看一下桶里面还剩多少水,有没有溢出。
- 如果溢出了拒绝请求,如果没有添加当前一滴水。处理请求。
对于很多应用场景来说,除了要求能够限制数据的平均传输速率外,还要求允许某种程度的突发传输。这时候漏桶算法可能就不合适了,令牌桶算法更为适合。
什么意思呢?就是说我服务前面闲了很久,突然来了很多请求(在桶的容量内),我得快速的把这些处理了。
限速方式之令牌桶算法
思路:匀速的产生令牌,往桶里面丢,每次请求来,看是否有多余的令牌。如果有获取令牌执行正常业务,偌没有限速。
![63ce1822e09e7c3d81d055ee172c6d20.png](https://i-blog.csdnimg.cn/blog_migrate/0411cbd560e40fb46a7ef2eb60a7bf54.jpeg)
令牌桶.png
代码片段
![22e2a00f48e04e8cea0561cdadbfb11f.png](https://i-blog.csdnimg.cn/blog_migrate/278c628ff2a2c473dcec8b93a3904bd4.jpeg)
令牌桶代码
通过这种方式可以允许瞬时的大量处理,然后做限速处理。
- 请求来的时候先计算目前放入桶中的令牌数,这里计算,就可以不用启动一个线程匀速放置令牌了,这个叫惰性计算。
- 然后计算桶拥有的令牌数。然后获取令牌。做拒绝还是处理动作。
以上代码,你均可以在
https://github.com/hirudy/java_lib/tree/master/src/main/java/com/hirudy/limiter
找到。
单机限速器RateLimiter
安利大家一个高效的限速器。
google的基础库guava中包含了一个基于令牌桶的限速器RateLimiter。使用也很简单。
![cfc4cf7e45162bf0ece1d063167a6384.png](https://i-blog.csdnimg.cn/blog_migrate/f54efd41e0632cefa91ebd84487bc36a.jpeg)
测试样例。
关注作者:JAVA高级程序员
我会不定期在微头条发放:(Java工程化、分布式架构、高并发、高性能、深入浅出、微服务架构、Spring、MyBatis、Netty、源码分析)等技术学习资料,以及Java进阶学习路线图。