redis实现轮询算法_Dcron:基于redis与一致性哈希算法的分布式定时任务库

背景

最近项目中的定时任务越来越多，为了防止任务重复执行曾经使用过的方案：

只启用了一个节点。

固定循环间隔，使用分布式事务锁。

部署一套分布式任务调度系统。

方案一 没有容错机制，当单个节点宕机，所有定时任务都无法正常执行。

方案二 不能跟cron一样灵活设定时间，比如需要设定每天1点执行就必须借助数据库或者其他存储手段去轮询，非常低效。

方案三 可以解决问题，但是很多场景下需要开发完成后再去单独配置，如果任务较少时反而增加了系统维护成本。

在对比了市面上主流的分布式定时任务库后，发现要不就是过重，要不就是使用复杂或者不能使用golang无缝接入.

要解决的痛点包括：

高一致可靠性，保证任务不能被多个节点重复执行，在单个节点宕机时能迅速转移任务至正常节点。

能复用现在架构内的存储系统，redis/mysql/memcache等。

使用足够简单，屏蔽内部细节，不需要额外部署就可以跟使用本地cron库一样直接引入使用。

原理

将所有节点存入公共存储(目前基本所有项目都使用redis作为缓存库，所以首先开发了redis支持)后使用一致性hash算法来选举出执行单个任务的节点来保证唯一性，所有节点都按照写入的cron预执行，在任务执行入口处根据一致性hash算法来判断该任务是否应该由当前节点执行。

存储器定一个公共接口，可以通过实现接口来为dcron提供更多的存储支持，比如etcd，zk等。

流程图

特性

负载均衡：根据任务数据和节点数据均衡分发任务。

无缝扩容：如果任务节点负载过大，直接启动新的服务器后部分任务会自动迁移至新服务实现无缝扩容。

故障转移：单个节点故障，10s后会自动将任务自动转移至其他正常节点。

任务唯一：同一个服务内同一个任务只会启动单个运行实例，不会重复执行。

自定义存储：通过实现driver接口来增加节点数据存储方式。

使用说明

1.创建redisDriver实例，指定服务名并初始化dcron。服务名为执行相同任务的单元。

drv, _ := redis.NewDriver(&redis.Conf{

Host: "127.0.0.1",

Port: 6379,

})

dcron := NewDcron("server1", drv)

2.使用cron语法添加任务，需要指定任务名。任务名作为任务的唯一标识，必须保证唯一。

dcron.AddFunc("test1","*/3 * * * *",func(){

fmt.Println("执行 test1 任务",time.Now().Format("15:04:05"))

})

3.开始任务。

dcron.Start()

关于服务名的说明

服务名只是为了定义相同一组任务，节点在启动时会产生一个uuid，然后绑定到这个服务内，不会存在多个节点使用同一个服务明出现冲突的问题。

比如有个服务叫【课堂服务】里面包含了 【上课】【下课】 等各类定时任务，那么就可以有n个不同的服务节点(可以在同一台或者不同机器上)，服务都叫课堂服务。

其他

为了无缝将dcron接入现有的服务内，所以dcron启动后默认会启动一个协程来执行定时任务，并不会阻塞主进程。

所以如果使用dcron和http服务在一起时不用特殊处理；但如果程序内只有该定时任务，需要阻塞主进程以防止主线程直接退出。

欢迎star，fork。。