系列学习分布式任务调度 XXL-JOB 之第 1 篇 —— XXL-JOB 介绍（调度中心、执行器）

一般来说，我们在 SpringBoot 项目里，如果需要定时处理一件事，我们最常用的做法是：在启动类增加注解 @EnableScheduling 启用任务调度，然后在 task 任务类的某个方法上增加注解 @Scheduled(fixedRate = 1000 * 60 * 60) 即可。这种传统的方式一般适用于小公司，且往往是把定时任务的微服务和项目的微服务放在同一台机器上。

这种传统的方式，如果遇到错误，则记录日志，然后继续往后执行后面的任务。然后将失败的定时任务记录好，然后通过人工补偿将任务执行完毕。传统的方式会存在一些问题：比如如果部署到2台机器，每台机器的定时任务代码都一样的，就会产生重复性问题（幂等性问题）。

因此，我们引入分布式调度平台：XXL-JOB

XXL-JOB介绍

1、官网地址：https://www.xuxueli.com/xxl-job/ 

为什么叫 XXL？因为这个项目的创始人叫：许雪里

2、XXL-JOB 是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。

3、特性（官网摘录而来）：

• 1、简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手；
• 2、动态：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；
• 3、调度中心HA（中心式）：调度采用中心式设计，“调度中心”自研调度组件并支持集群部署，可保证调度中心HA；
• 4、执行器HA（分布式）：任务分布式执行，任务”执行器”支持集群部署，可保证任务执行HA；
• 5、注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址；
• 6、弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会重新分配任务；
• 7、触发策略：提供丰富的任务触发策略，包括：Cron触发、固定间隔触发、固定延时触发、API（事件）触发、人工触发、父子任务触发；
• 8、调度过期策略：调度中心错过调度时间的补偿处理策略，包括：忽略、立即补偿触发一次等；
• 9、阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度；
• 10、任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务；
• 11、任务失败重试：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；其中分片任务支持分片粒度的失败重试；
• 12、任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方便的扩展短信、钉钉等告警方式；
• 13、路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等；
• 14、分片广播任务：执行器集群部署时，任务路由策略选择”分片广播”情况下，一次任务调度将会广播触发集群中所有执行器执行一次任务，可根据分片参数开发分片任务；
• 15、动态分片：分片广播任务以执行器为维度进行分片，支持动态扩容执行器集群从而动态增加分片数量，协同进行业务处理；在进行大数据量业务操作时可显著提升任务处理能力和速度。
• 16、故障转移：任务路由策略选择”故障转移”情况下，如果执行器集群中某一台机器故障，将会自动Failover切换到一台正常的执行器发送调度请求。
• 17、任务进度监控：支持实时监控任务进度；
• 18、Rolling实时日志：支持在线查看调度结果，并且支持以Rolling方式实时查看执行器输出的完整的执行日志；
• 19、GLUE：提供Web IDE，支持在线开发任务逻辑代码，动态发布，实时编译生效，省略部署上线的过程。支持30个版本的历史版本回溯。
• 20、脚本任务：支持以GLUE模式开发和运行脚本任务，包括Shell、Python、NodeJS、PHP、PowerShell等类型脚本;
• 21、命令行任务：原生提供通用命令行任务Handler（Bean任务，”CommandJobHandler”）；业务方只需要提供命令行即可；
• 22、任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔；
• 23、一致性：“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行；
• 24、自定义任务参数：支持在线配置调度任务入参，即时生效；
• 25、调度线程池：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞；
• 26、数据加密：调度中心和执行器之间的通讯进行数据加密，提升调度信息安全性；
• 27、邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件；
• 28、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;
• 29、运行报表：支持实时查看运行数据，如任务数量、调度次数、执行器数量等；以及调度报表，如调度日期分布图，调度成功分布图等；
• 30、全异步：任务调度流程全异步化设计实现，如异步调度、异步运行、异步回调等，有效对密集调度进行流量削峰，理论上支持任意时长任务的运行；
• 31、跨语言：调度中心与执行器提供语言无关的 RESTful API 服务，第三方任意语言可据此对接调度中心或者实现执行器。除此之外，还提供了 “多任务模式”和“httpJobHandler”等其他跨语言方案；
• 32、国际化：调度中心支持国际化设置，提供中文、英文两种可选语言，默认为中文；
• 33、容器化：提供官方docker镜像，并实时更新推送dockerhub，进一步实现产品开箱即用；
• 34、线程池隔离：调度线程池进行隔离拆分，慢任务自动降级进入”Slow”线程池，避免耗尽调度线程，提高系统稳定性；
• 35、用户管理：支持在线管理系统用户，存在管理员、普通用户两种角色；
• 36、权限控制：执行器维度进行权限控制，管理员拥有全量权限，普通用户需要分配执行器权限后才允许相关操作；

4、源码仓库地址，我们使用码云的地址下载：https://gitee.com/xuxueli0323/xxl-job/releases（即点击下面 gitee 的 Download 地址）

源码仓库地址	Release Download
https://github.com/xuxueli/xxl-job	Download
http://gitee.com/xuxueli0323/xxl-job	Download

下载 2.3 版本 zip  版本：

 

解压可以看到如下文件：

 

5、最新版的架构图（在下载的 doc 文件夹的 【XXL-JOB架构图.pptx】文件里）

 

XXL-JOB 使用步骤

如上图所示，XXL-JOB的架构图主要分为【调度中心】和【执行器】两大模块。我们把下载好的代码导入到 IDEA 中。如图：

 

创建数据库

首先我们打开 doc 文档目录，创建项目需要的数据库：xxl_job，以及需要的表。直接执行该 sql 文件即可。

执行结果：

- xxl_job_lock：任务调度锁表；
- xxl_job_group：执行器信息表，维护任务执行器信息；
- xxl_job_info：调度扩展信息表： 用于保存XXL-JOB调度任务的扩展信息，如任务分组、任务名、机器地址、执行器、执行入参和报警邮件等等；
- xxl_job_log：调度日志表： 用于保存XXL-JOB任务调度的历史信息，如调度结果、执行结果、调度入参、调度机器和执行器等等；
- xxl_job_log_report：调度日志报表：用户存储XXL-JOB任务调度日志的报表，调度中心报表功能页面会用到；
- xxl_job_logglue：任务GLUE日志：用于保存GLUE更新历史，用于支持GLUE的版本回溯功能；
- xxl_job_registry：执行器注册表，维护在线的执行器和调度中心机器地址信息；
- xxl_job_user：系统用户表；

 

打开 xxl_job_user 看到有一条初始化的用户信息，账号是：admin，密码是：123456（MD5加密后的）。后续我们用这个账号进行登录。

 

XXL-JOB 工作原理

将调度行为抽象形成“调度中心”公共平台，而平台自身并不承担业务逻辑，“调度中心”负责发起调度请求。

将任务抽象成分散的 JobHandler，交由“执行器”统一管理，“执行器”负责接收调度请求并执行对应的 JobHandler 中业务逻辑。

因此，“调度”和“任务”两部分可以相互解耦，提高系统整体稳定性和扩展性。

 

模块一：调度中心

调度中心项目：xxl-job-admin，作用是：统一管理任务调度平台上调度任务，负责触发调度执行，并且提供任务管理平台。自身不承担业务代码。

我们需要修改 xxl-job-admin 模块的 application.properties 配置文件：包括数据库连接信息，邮件配置信息等。

如果对邮件配置不明白，可以查看我的博客：https://blog.csdn.net/BiandanLoveyou/article/details/115221511

 

修改好配置信息，我们启动 XxlJobAdminApplication 启动类：

浏览器地址打开：http://127.0.0.1:8080/xxl-job-admin   输入之前初始化的用户名和密码。（admin、123456）

登录成功：

 

 

模块二：执行器

执行器负责接收“调度中心”的调度并执行；可直接部署执行器，也可以将执行器集成到现有业务项目中。

XXL-JOB 给我们提供了 2 个例子的执行器，如图，我们选择 springboot 模块即可：

 

同样的，我们看下 SpringBoot 项目的 application.properties 配置文件。

①微服务端口号：8081

②调度中心的地址

③执行器端口号：9999，负责接收 xxl-job 调度中心分发过来的请求。

④appname 需要对应我们 admin 平台里【执行器管理】菜单下有个执行器管理的 AppName。注册中心是根据 AppName 来找到对应的执行器的。如果我们需要新增一个执行器，则需要先在代码里定义，我们定义为：my-job-executor-appname（待会演示如何使用 admin 调度中心管理后台新增任务）。

为了验证执行器监听到调度中心的分发任务请求，我们新增一段执行器的代码，注意使用注解@XxlJob，我们的 handler ID是 myJobHandler 如图：

代码如下：

    SimpleDateFormat SDF = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");

    /**
     * 我的个人测试 handler
     * @throws Exception
     */
    @XxlJob("myJobHandler")
    public void myJobHandler() throws Exception {
        String now = "我的自定义执行器，当前时间：" + SDF.format(new Date());
        XxlJobHelper.log(now);
        System.out.println(now);
    }

OK，我们先启动执行器的项目：XxlJobExecutorApplication

然后我们进入到调度平台的管理后台，找到菜单【执行器管理】，新增执行器，输入我们执行器的信息，如图：

说明：如果是自动注册，会直接读取本地 XXL-JOB  的配置信息，我们先选手动录入。机器地址输入执行器所在的URL地址、端口号。注意机器地址要输入全路径，包括 http 协议。

然后，我们创建一个任务。在【任务管理】，我们设置3秒执行一次，JobHandler 输入我们之前的 handler ID。

 

配置属性详细说明：

1. 基础配置：
2. - 执行器：任务的绑定的执行器，任务触发调度时将会自动发现注册成功的执行器, 实现任务自动发现功能; 另一方面也可以方便的进行任务分组。每个任务必须绑定一个执行器, 可在 "执行器管理" 进行设置;
3. - 任务描述：任务的描述信息，便于任务管理；
4. - 负责人：任务的负责人；
5. - 报警邮件：任务调度失败时邮件通知的邮箱地址，支持配置多邮箱地址，配置多个邮箱地址时用逗号分隔；
6.  
7. 触发配置：
8. - 调度类型：
9. 无：该类型不会主动触发调度；
10. CRON：该类型将会通过CRON，触发任务调度；
11. 固定速度：该类型将会以固定速度，触发任务调度；按照固定的间隔时间，周期性触发；
12. 固定延迟：该类型将会以固定延迟，触发任务调度；按照固定的延迟时间，从上次调度结束后开始计算延迟时间，到达延迟时间后触发下次调度；
13. - CRON：触发任务执行的Cron表达式；
14. - 固定速度：固件速度的时间间隔，单位为秒；
15. - 固定延迟：固件延迟的时间间隔，单位为秒；
16.  
17. 任务配置：
18. - 运行模式：
19. BEAN模式：任务以JobHandler方式维护在执行器端；需要结合 "JobHandler" 属性匹配执行器中任务；
20. GLUE模式(Java)：任务以源码方式维护在调度中心；该模式的任务实际上是一段继承自IJobHandler的Java类代码并 "groovy" 源码方式维护，它在执行器项目中运行，可使用@Resource/@Autowire注入执行器里中的其他服务；
21. GLUE模式(Shell)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "shell" 脚本；
22. GLUE模式(Python)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "python" 脚本；
23. GLUE模式(PHP)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "php" 脚本；
24. GLUE模式(NodeJS)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "nodejs" 脚本；
25. GLUE模式(PowerShell)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "PowerShell" 脚本；
26. - JobHandler：运行模式为 "BEAN模式" 时生效，对应执行器中新开发的JobHandler类“@JobHandler”注解自定义的value值；
27. - 执行参数：任务执行所需的参数；
28.  
29. 高级配置：
30. - 路由策略：当执行器集群部署时，提供丰富的路由策略，包括；
31. FIRST（第一个）：固定选择第一个机器；
32. LAST（最后一个）：固定选择最后一个机器；
33. ROUND（轮询）：；
34. RANDOM（随机）：随机选择在线的机器；
35. CONSISTENT_HASH（一致性HASH）：每个任务按照Hash算法固定选择某一台机器，且所有任务均匀散列在不同机器上。
36. LEAST_FREQUENTLY_USED（最不经常使用）：使用频率最低的机器优先被选举；
37. LEAST_RECENTLY_USED（最近最久未使用）：最久未使用的机器优先被选举；
38. FAILOVER（故障转移）：按照顺序依次进行心跳检测，第一个心跳检测成功的机器选定为目标执行器并发起调度；
39. BUSYOVER（忙碌转移）：按照顺序依次进行空闲检测，第一个空闲检测成功的机器选定为目标执行器并发起调度；
40. SHARDING_BROADCAST(分片广播)：广播触发对应集群中所有机器执行一次任务，同时系统自动传递分片参数；可根据分片参数开发分片任务；
41. - 子任务：每个任务都拥有一个唯一的任务ID(任务ID可以从任务列表获取)，当本任务执行结束并且执行成功时，将会触发子任务ID所对应的任务的一次主动调度。
42. - 调度过期策略：
43. - 忽略：调度过期后，忽略过期的任务，从当前时间开始重新计算下次触发时间；
44. - 立即执行一次：调度过期后，立即执行一次，并从当前时间开始重新计算下次触发时间；
45. - 阻塞处理策略：调度过于密集执行器来不及处理时的处理策略；
46. 单机串行（默认）：调度请求进入单机执行器后，调度请求进入FIFO队列并以串行方式运行；
47. 丢弃后续调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，本次请求将会被丢弃并标记为失败；
48. 覆盖之前调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，将会终止运行中的调度任务并清空队列，然后运行本地调度任务；
49. - 任务超时时间：支持自定义任务超时时间，任务运行超时将会主动中断任务；
50. - 失败重试次数；支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试。

然后，我们在任务列表的【操作】栏下执行任务。

点击【启动】后，进入到执行器的控制台查看，间隔3秒执行一次：

 

如果遇到报错，调度中心会发送告警邮件到我们配置的邮箱地址：

内容如图：

 

然后，我们演示一个比较强大的功能：我们修改任务的 corn 七子表达式，修改成每隔5秒执行一次，然后启动，看下效果：

效果：

OK，第一篇 XXL-JOB 讲解到这。