XxlJob

一、概述
XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。xxl三个字母是其开发者许雪里名字的缩写。

几个特性：

1、简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手；
2、动态：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效
3、注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行，每30秒清理一次注册表中的无效机器。同时，也支持手动录入执行器地址；
4 、失败处理策略：每10秒检测失败任务，报警和重试；
5、一致性：“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行

二、架构
一次完整的执行流程

 

1、“调度中心”向“执行器”发送http调度请求: “执行器”中接收请求的服务，实际上是一台内嵌jetty服务器，默认端口9999;
2、“执行器”执行任务逻辑；
3、“执行器”http回调“调度中心”调度结果: “调度中心”中接收回调的服务，是针对执行器开放一套API服务;
1、调度中心：负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码。调度系统与任务解耦，提高了系统可用性和稳定性，同时调度系统性能不再受限于任务模块；
支持可视化、简单且动态的管理调度信息，包括任务新建，更新，删除，GLUE开发和任务报警等，所有上述操作都会实时生效，同时支持监控调度结果以及执行日志，支持执行器Failover。
调度模块早期依赖于quartz,为了精简系统降低冗余依赖，和提供系统的可控度与稳定性；现在使用选择自研调度组件，类似于一个时间轮。
XXL-JOB中“调度模块”和“任务模块”完全解耦，调度模块进行任务调度时，将会解析不同的任务参数发起远程调用，调用各自的远程执行器服务。这种调用模型类似RPC调用，调度中心提供调用代理的功能，而执行器提供远程服务的功能。
2、执行模块：负责接收调度请求并执行任务逻辑。任务模块专注于任务的执行等操作，开发和维护更加简单和高效；接收“调度中心”的执行请求、终止请求和日志请求等；
执行器实际上是一个内嵌的Server，默认端口9999（配置项：xxl.job.executor.port）。
在项目启动时，执行器会通过“@XxlJob”识别Spring容器中“Bean模式任务”，以注解的value属性为key管理起来。
“执行器”接收到“调度中心”的调度请求时，如果任务类型为“Bean模式”，将会匹配Spring容器中的“Bean模式任务”，然后调用其execute方法，执行任务逻辑
3、"bean"模式原理：每个Bean模式任务都是一个Spring的Bean类实例，它被维护在“执行器”项目的Spring容器中。任务方法需要加“@XxlJob(value=”名称”)”注解，因为“执行器”会根据该注解识别Spring容器中的任务。

三、如何触发
1.早期：基于quartz.现在：timewheel时间轮，这个时间轮本质就是一个Map<Integer, List>

 

2.触发算法：
拿到了距now 5秒内的任务列表数据：scheduleList，分三种情况处理：for循环遍历scheduleList集合

 

（1）对到达now时间后的任务：（任务下一次触发时间+5s<now)：直接跳过不执行； 重置trigger_next_time；

（2）对到达now时间后的任务：(任务下一次触发时间<now<任务下一次触发时间+5s)：线程执行触发逻辑； 若任务下一次触发时间是在5秒内， 则放到时间轮内（Map<Integer, List> 秒数(1-60) => 任务id列表）；再 重置trigger_next_time

（3）对未到达now时间的任务（任务下一次触发时间>now）：直接放到时间轮内；重置trigger_next_time 。

3.接下来讲时间轮，时间轮数据结构： Map<Integer, List> key是秒数(1-60) value是任务id列表，具体结构如下图 ：

四、一致性保证
为了避免多个服务器同时调度任务， 通过mysql悲观锁实现分布式锁（for update语句）
看一下代码

 

 

1 setAutoCommit(false)关闭隐式自动提交事务，

2 启动事务select lock for update（排他锁）

3 读db任务信息 -> 拉任务到内存时间轮 -> 更新db任务信息

4 commit提交事务，同时会释放for update的排他锁（悲观锁）