golang 限流器

额,最近工作可能要接一个qps比较高的任务。所以调研一下常用的限流方法:
https://www.infoq.cn/article/Qg2tX8fyw5Vt-f3HH673

似乎最广泛的还是令牌桶算法
https://zhuanlan.zhihu.com/p/89820414

其算法主要思想是:
往一个桶里面放令牌, 判断能够进来的条件就是能否获得令牌。
令牌生成思路就是:

  1. 不停往里放
  2. 获取令牌的时候计算一下可以生成令牌数 = 根据当前时间 - 上次生成时间 / 生成一个令牌的间隔
  3. 如果够的话,更新令牌数并返回
  4. 如果不够的话,等待(或者直接返回错误让客户端重试)

学习一下go标准库里的限流器time/rate是怎么做的,基本逻辑差不多。
但这个是单点的限流,要做分布式的限流还是离不开redis。

集群限流分析:
https://zhuanlan.zhihu.com/p/61661082

笔记:

  1. 并发导致的资源竞争问题
  2. 集群限流由于会面对相比单机更大的流量冲击,所以一般不会进行线程等待,而是直接进行丢弃,因为如果让拿不到令牌的线程进行睡眠,会导致大量的线程堆积,线程持有的资源也不会释放,反而容易拖垮服务器。

思考总结:
单点限流在nginx负载均衡得还不错的情况下,显然是可行的。实现简单,而且可以设置控制中心来实时控制速率(比如从redis-key读取速率, 单key不行就分片)。

用redis控制分布式限流,优点是能够控制总的速度。但是其实压力还是转移到了redis,这也是单点限流的优点可以把压力分摊到每台机器,而且其实并没有太多影响(从golang/org/x的源码看就是一个锁+一些计算)。

所以决定用单点限流试试。
文档:https://www.cyhone.com/articles/usage-of-golang-rate/
关于limit的第二个参数b,理解成容量或最大瞬时并发都可以吧。容量为burst的话,无法在同一时间拿到超过burst。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Golang是一种开源的编程语言,它具有高效、简洁和并发性强的特点,非常适合用于构建高性能的网络应用程序。在Golang中,可以使用一些库和技术来实现IP防刷和限流的功能。 一种常见的方法是使用令牌桶算法来进行限流。令牌桶算法基于一个令牌桶,其中包含了一定数量的令牌。每当有请求到达时,就会从令牌桶中取出一个令牌,如果令牌桶中没有足够的令牌,则请求会被拒绝或者延迟处理。这种方式可以有效地控制请求的速率,防止恶意刷接口或者DDoS攻击。 在Golang中,可以使用一些第三方库来实现令牌桶算法。例如,可以使用"golang.org/x/time/rate"包来实现基于令牌桶的限流功能。该包提供了Rate类型,可以用于定义每秒允许通过的请求数量,并且可以使用Allow方法来判断是否允许处理请求。 下面是一个简单的示例代码,演示了如何使用"golang.org/x/time/rate"包来实现IP防刷和限流: ```go package main import ( "fmt" "net" "net/http" "time" "golang.org/x/time/rate" ) func main() { // 创建一个限流,每秒允许通过3个请求 limiter := rate.NewLimiter(3, 1) // 创建一个HTTP服务 http.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) { // 获取请求的IP地址 ip, _, _ := net.SplitHostPort(r.RemoteAddr) // 判断是否允许处理请求 if limiter.Allow() { // 允许处理请求 fmt.Fprintf(w, "Hello, World!") } else { // 请求被限流 http.Error(w, http.StatusText(http.StatusTooManyRequests), http.StatusTooManyRequests) } }) // 启动HTTP服务 http.ListenAndServe(":8080", nil) } ``` 在上面的示例代码中,我们创建了一个限流,每秒允许通过3个请求。然后,在处理HTTP请求时,我们获取请求的IP地址,并使用限流判断是否允许处理请求。如果允许处理请求,则返回"Hello, World!";如果请求被限流,则返回429 Too Many Requests错误。 这只是一个简单的示例,实际应用中可能需要更复杂的逻辑来判断是否需要限流,例如根据不同的IP地址或者用户身份进行不同的限制。同时,还可以结合其他技术,如缓存、分布式限流等来提高系统的稳定性和安全性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值