xxl-job集群的任务调度策略优化_我的想法

现状

集群模式下xxl-job进行任务调度时，为了避免任务被重复调度，因此会先通过以下SQL对表xxl_job_lock的记录schedule_lock加锁

select * from xxl_job_lock where lock_name = 'schedule_lock' for update

加锁后，再将需要执行的任务进行调度

优点：分布式锁实现简单，不会重复调度

缺点：

• 任务调度吞吐量低，同一时间只会有一个节点在工作，

• 如果同一时间需要调度的任务较多，则可能因为单机调度性能限制导致任务延迟较大

优化

优化思路：减小锁粒度，扰乱任务序列

可以在表xxl_job_lock中初始化一些数据，例如初始化10条数据

例如，10条数据为0,1, 2…9

加锁时使用

select * from xxl_job_lock where lock_name = #{jobId % 10} for update

这样就可以将锁的粒度减小

但这还不够，想象一下，如果此时需要调度的任务为

job1, job2, job3...

xxl集群的三个节点，查出了相同的待调度任务序列，三个节点都是从job1开始竞争锁，然后调度，此时虽然锁的粒度小了，但是发生锁竞争的概率会很大。怎么解决呢，可以将待调度的任务序列进行打乱排序

例如，

节点1打乱排序后得到的序列为job1,job3,job2…

节点2打乱排序后得到的序列为job2,job3,job1…

节点3打乱排序后得到的序列为job3,job2,job1…

这样集群中的3个节点都可以同时对任务进行调度了，整个集群的压力均衡，不会落在某一个节点上，整体的调度吞吐量也会比之前的有所提升。

其他

调度的核心代码在JobScheduleHelper.start中

我也给社区提了个pr，还没收到回复
https://github.com/xuxueli/xxl-job/pull/2766