最近在业务上遇到需要批量pop的场景,起初以为是个很简单的方案,然而在实现过程中走了很多弯路,和大家分享一下,避免踩坑
1.简单的循环 pop
这是最简单的方案,伪代码如下所示:
var values []string
for(i:=0;i<num;i++){
values=append(values,redis.rpop())
}
复制代码
这也是我们最初的方案,后来随着业务量上来后,大量的网络开销导致耗时严重,业务逐渐不能接受
总结
优点
- 最简单的方案
缺点
- 串行,耗时严重
2.易实现的并发 pop
通过并发 pop,进而缩短网络耗时,伪代码如下所示:
var values []string
locker:=new(sync.mutux)
wg:=new(sync.WaitGroup)
for(i:=0;i<n;i++){
wg.Add(1)
go func(){
locker.Lock()
values=append(values,redis.rpop())
locker.Unlock()
wg.Done()
}
}
wg.Wait()
复制代码
最终耗时≈网络中最慢的一次请求
总结
优点
- 最容易想到的优化方案
- 性能提升显著
缺点
- 需要处理并发
- 有大量的网络开销,server端处理网络连接的压力较大