用 7：一毛不拔 ——漏斗限流

1.对于漏斗限流，漏洞的容量是有限的，如果将漏嘴堵住，然后一直往里面灌水，它就会变满，直至再也装不进去。如果将漏嘴放开，水就会往下流，流走一部分之后，就又可以继续往里面灌水。如果漏嘴流水的速率大于灌水的速率，那么漏斗永远都装不满。如果漏嘴流水速率小于灌水的速率，那么一旦漏斗满了，灌水就需要暂停并等待漏斗腾空。所以，漏斗的剩余空间就代表着当前行为可以持续进行的数量，漏嘴的流水速率代表着系统允许该行为的最大频率。下面我们使用代码来描述单机漏斗算法。

# coding: utf8

import time



class Funnel(object):

def __init__(self, capacity, leaking_rate):

self.capacity = capacity # 漏斗容量

self.leaking_rate = leaking_rate # 漏嘴流水速率

self.left_quota = capacity # 漏斗剩余空间

self.leaking_ts = time.time() # 上一次漏水时间

def make_space(self):

now_ts = time.time()

delta_ts = now_ts - self.leaking_ts # 距离上一次漏水过去了多久

delta_quota = delta_ts * self.leaking_rate # 又可以腾出不少空间了

if delta_quota < 1: # 腾的空间太少，那就等下次吧

return

self.left_quota += delta_quota # 增加剩余空间

self.leaking_ts = now_ts # 记录漏水时间

if self.left_quota > self.capacity: # 剩余空间不得高于容量

self.left_quota = self.capacity

def watering(self, quota):

self.make_space()

if self.left_quota >= quota: # 判断剩余空间是否足够

self.left_quota -= quota

return True

return False

funnels = {} # 所有的漏斗



# capacity 漏斗容量

# leaking_rate 漏嘴流水速率 quota/s

def is_action_allowed(user_id, action_key, capacity, leaking_rate):

key = '%s:%s' % (user_id, action_key)

funnel = funnels.get(key)

if not funnel:

funnel = Funnel(capacity, leaking_rate)

funnels[key] = funnel

return funnel.watering(1)

for i in range(20):

print is_action_allowed('laoqian', 'reply', 15, 0.5)

Funnel 对象的 make_space 方法是漏斗算法的核心，其在每次灌水前都会被调用以触发漏水，给漏斗腾出空间来。能腾出多少空间取决于过去了多久以及流水的速率。Funnel 对象占据的空间大小不再和行为的频率成正比，它的空间占用是一个常量。

2.分布式漏斗怎么实现？

将 Funnel 对象的内容按字段存储到一个 hash 结构中，灌水的时候将 hash 结构的字段取出来进行逻辑运算后，再将新值回填到hash 结构中就完成了一次行为频度的检测。

但问题是无法保证整个过程的原子性。

从 hash 结构中取值，然后在内存里运算，再回填到 hash 结构，这三个过程无法原子化，意味着需要进行适当的加锁控制。而一旦加锁，就意味着会有加锁失败，加锁失败就需要选择重试或者放弃。如果重试的话，就会导致性能下降。如果放弃的话，就会影响用户体验。同时，代码的复杂度也跟着升高很多

3.Redis-Cell

Redis 4.0 提供了一个限流 Redis 模块。该模块也使用了漏斗算法，并提供了原子的限流指令。

该模块只有 1条指令 cl.throttle，它的参数和返回值都略显复杂

  

上面这个指令的意思是允许「用户老钱回复行为」的频率为每 60s 最多 30 次(漏水速率)，漏斗的初始容量为 15，也就是说一开始可以连续回复 15 个帖子，然后才开始受漏水速率的影响。我们看到这个指令中漏水速率变成了 2 个参数，替代了之前的单个浮点数。用两个参数相除的结果来表达漏水速率相对单个浮点数要更加直观一些。

> cl.throttle laoqian:reply 15 30 60

1) (integer) 0 # 0 表示允许，1表示拒绝

2) (integer) 15 # 漏斗容量capacity

3) (integer) 14 # 漏斗剩余空间left_quota

4) (integer) -1 # 如果拒绝了，需要多长时间后再试(漏斗有空间了，单位秒)

5) (integer) 2 # 多长时间后，漏斗完全空出来(left_quota==capacity，单位秒)

在执行限流指令时，如果被拒绝了，就需要丢弃或重试。cl.throttle 指令考虑的非常周到，连重试时间都帮你算好了，直接取返回结果数组的第四个值进行 sleep 即可，如果不想阻塞线程，也可以异步定时任务来重试。

以上为学习《Redis深度历险核心原理和应用实践》笔记