认识流量控制

即通常说的限流

流量统计指标

• 每秒事务数 TPS

• 每秒请求数 HPS

• 每秒查询数 QPS

限流主要面向HPS，在网关直接控制，实现简单。

QPS和HPS的差异在于，QPS是指所有微服务总调用次数，HPS是指微服务系统的请求数。

限流算法

限流有许多的维度，最常见的维度是整个系统作为限流基准，此外常见的维度还有用户、IP、地域等。

计数器算法

1. 限制单位时间内请求数为N

2. 若请求数超出N，则拒绝处理请求

思想和实现都非常简单，缺点在于：

• 不均匀：算法限制[0, U]段内请求数不超过N，但[U/2, 3U/2]段却可以超出限制

• 不伸缩：对于短时间内大量请求的场景不友好

  短时间过后请求量极低，实际上可以利用这段时间消化掉峰期的请求

滑动窗口算法

1. 限制任意单位时间内请求数为N

2. 若请求数超出N，则拒绝处理请求

计数器算法的优化版本，解决了不均匀的问题。

实现：记录所有请求的时间戳，每次处理新请求时将过期的时间戳清理。

令牌桶算法

1. 桶的容量为N个令牌

2. 每秒向桶中放入K个令牌，桶满则不再放入

3. 每次请求取走1个令牌

上述过程涉及两个参数：N、K。N取决于允许的最大并发量，K取决于请求的处理速度。

在实现上，每次取令牌时都记录时间戳，并计算与上次取令牌的时间差，即可同步更新令牌数。

漏桶算法

1. 桶的容量为N

2. 每秒从桶中漏出K个请求

3. 每次请求占用1的容量

漏桶与令牌桶的算法思想和实现非常相似

单体限流和分布式限流

基于网关或特定组件完成限流的方式称为单体限流

将各个微服务流量均纳入考虑进行限流的方式称为分布式限流

区分目的：不同微服务的流量承载能力有差异

优与劣：分布式限流效果更理想，但限流工作本身带来更重的负担