前言
日常任务开放中,我们会有很多异步、批量、定时、延迟任务要处理,go-zero中有 go-queue
,推荐使用 go-queue
去处理,go-queue
本身也是基于 go-zero
开发的,其本身是有两种模式:
dq
:依赖于beanstalkd
,适合延时、定时任务执行;kq
:依赖于kafka
,适用于异步、批量任务执行;
本篇就先从 dq
开始,慢慢探究 go-queue
背后执行的逻辑。
dq 简介
dq
封装底层 beanstalkd
操作,分布式存储,延迟、定时设置。重启服务可以重新执行,但是消息不会丢失,因为消息的处理都交由 beanstalkd
完成。
可以看出使用非常简单,同时 dq
中使用了 redis setnx
保证了每个消息只被消费一次。但是在生产者端没有使用 redis
做消息存储,这个和前面描述的一致。
对 dq
的整体架构做了简单介绍,下面就开始正式的探索 :hammer:
生产者 example
func main() {
producer := dq.NewProducer([]dq.Beanstalk{
{
Endpoint: "localhost:11300",
Tube: "tube",
},
{
Endpoint: "localhost:11301",
Tube: "tube",
},
})
for i := 1000; i < 1005; i++ {
// Delay:延迟执行
_, err := producer.Delay([]byte(strconv