还在用crontab? 分布式定时任务了解一下

前言

日常任务开放中，我们会有很多异步、批量、定时、延迟任务要处理，go-zero中有 go-queue，推荐使用 go-queue 去处理，go-queue 本身也是基于 go-zero 开发的，其本身是有两种模式：

• dq：依赖于 beanstalkd ，适合延时、定时任务执行；
• kq：依赖于 kafka ，适用于异步、批量任务执行；

本篇就先从 dq 开始，慢慢探究 go-queue 背后执行的逻辑。

dq 简介

dq 封装底层 beanstalkd 操作，分布式存储，延迟、定时设置。重启服务可以重新执行，但是消息不会丢失，因为消息的处理都交由 beanstalkd 完成。

可以看出使用非常简单，同时 dq 中使用了 redis setnx 保证了每个消息只被消费一次。但是在生产者端没有使用 redis 做消息存储，这个和前面描述的一致。

对 dq 的整体架构做了简单介绍，下面就开始正式的探索