c语言令牌桶原理,令牌桶算法的使用

背景

负责的项目中有一个爬虫调度项目。基础的模型就是利用平台提供的 Token 通过相关的数据 API 从平台获取数据。

对于每个 Token 均存在一个短时间内调用的上限。一旦超出限制，将在一段时间内不能进行继续获取。

之前对于这个限制的管理比较简单，当任务触发时，会直接发起数据获取请求。通过检查返回信息，判断是否超限，如果超限，设置一个等待时间之后进行重试。但发现这样没有最大化的利用到 Token. 因为发起请求本身就是对 Token 的一种消耗。

最近跟组长进行讨论相关细节时，他提到可以利用 Nginx 的流量限制来进行改进。研究之后发现令牌桶算法很合适这个需求。

令牌桶算法

简介

令牌桶(token bucket)算法是 Nginx 进行流量限制的一种常用算法。常用于控制发送到网络上的数据的数量，并允许突发数据的发送。

基础流程图

当数据请求来临时，算法通过检查当前桶的令牌量，如果令牌量足以支持消耗，即会进行接下来的处理。

如果令牌不足，则会将请求抛弃(获取缓存，看相关需求)

token_bucket.png

使用

在当前的需求中，对每一个 Token 实例添加一个容量桶。存储当前的可调用次数。当有 worker 发起请求时，先检查当前的可调用余量。

如果余量足够，则返回可调用状态，并设置当前的处理时间。当请求完毕时，对桶进行主动更新。如果当前余量不足以进行请求，则可以返回需要等待的时间，或者执行切换 Token 实例等操作。

简单实现

import time

class TokenBucket:

def __init__(self, rate=0.1, capacity=100):

"""

此 为 单例

初始化时 应设置 当前的容量为 总容量

:param rate: 速率 秒为单位

:param capacity: 总容量

"""

self._rate = rate

self._capacity = capacity

self.current_amount = capacity

self._last_consumed_at = int(time.time())

def consume(self, need_amount=1):

"""

进行消费

:param need_amount:

:return:

"""

increments = (int(time.time()) - self._last_consumed_at) * self._rate

self.current_amount = min(

self.current_amount + increments, self._capacity

)

if need_amount > self.current_amount:

return False

self.current_amount = self.current_amount - need_amount

self._last_consumed_at = int(time.time())

return True

def update(self, amount):

"""

存在一个更新操作，用于 Token 余量状态主动返回

并重新计算 最后消费时间

:param amount: 主动发送的数量

:return:

"""

self.current_amount = min(amount, self._capacity)

self._last_consumed_at = int(time.time())

源码可访问 code

参考资料