读书笔记000000002--亿级流量网站架构核心技术--限流术

老王聊技术

于 2024-08-08 09:20:14 发布

阅读量429

点赞数 6

分类专栏：性能亿级流量网站架构核心技术文章标签：亿级流量网站架构核心技术限流

本文链接：https://blog.csdn.net/wangwenzhe222/article/details/141017520

版权

性能同时被 2 个专栏收录

3 篇文章 0 订阅

订阅专栏

亿级流量网站架构核心技术

1 篇文章 0 订阅

订阅专栏

限流

what-->why-->how

1.什么是限流

在开发高并发系统时，有很多手段来保护系统，如缓存、降级和限流等。缓存目的是提升系统访问速度和增大系统处理能力，可谓是抗高并发流量的银弹。而降级是当服务出问题或者影响到核心流程的性能，需要暂时屏蔽掉，待高峰过去或者问题解决后再打开的场景。而有些场景并不能用缓存和降级来解决，比如稀缺资源（秒杀、抢购）、写服务（如评论、下单）、频繁的复杂查询（评论的最后几页）等。因此，需有一种手段来限制这些场景下的并发／请求量，这种手段就是限流。

2.目的

限流的目的是通过对并发访问／请求进行限速或者一个时间窗口内的请求进行限速来保护系统，一旦达到限制速率则可以拒绝服务（定向到错误页或告知资源没有了）、排队或等待（比如秒杀、评论、下单）、降级（返回兜底数据或默认数据，如商品详情页库存默认有货）。在压测时我们能找出每个系统的处理峰值，然后通过设定峰值阈值，来防止当系统过载时，通过拒绝处理过载的请求来保障系统可用。另外，也应根据系统的吞吐量、响应时间、可用率来动态调整限流阈值。先有缓存这个银弹，后有限流来应对618、双11高并发流量，在处理高并发问题上可以说是如虎添翼，不用担心瞬间流量导致系统挂掉或雪崩，最终做到有损服务而不是不服务。

3.常见限流手段

一般开发高并发系统常见的限流有：限制总并发数（比如数据库连接池、线程池）、限制瞬时并发数（如 Nginx 的limit_conn模块，用来限制瞬时并发连接数）、限制时间窗口内的平均速率（如Guava的RateLimiter、Nginx 的 limit_req模块，用来限制每秒的平均速率），以及限制远程接口调用速率、限制MQ的消费速率等。另外，还可以根据网络连接数、网络流量、CPU或内存负载等来限流。