【XXL-JOB】分布式定时任务

已于 2023-07-12 16:40:13 修改
阅读量161 收藏
点赞数
分类专栏： 文档整理 # 后端 实战教程 文章标签： 分布式
于 2023-07-12 16:38:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tabingbuxiaode/article/details/131631951
版权

前言

前文介绍了Quartz的分布式定时任务的使用，本文则使用xxl-job来实现相关定时任务

XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展

设计思想

  • 将调度行为抽象形成“调度中心”公共平台，而平台自身并不承担业务逻辑，“调度中心”负责发起调度请求。

  • 将任务抽象成分散的JobHandler，交由“执行器”统一管理，“执行器”负责接收调度请求并执行对应的JobHandler中业务逻辑。

因此，“调度”和“任务”两部分可以相互解耦，提高系统整体稳定性和扩展性；

特性

  • 简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手；
  • 动态：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；
  • 调度中心HA（中心式）：调度采用中心式设计，“调度中心”自研调度组件并支持集群部署，可保证调度中心HA；
  • 执行器HA（分布式）：任务分布式执行，任务"执行器"支持集群部署，可保证任务执行HA；
  • 注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址；
    -弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会重新分配任务；
  • 触发策略：提供丰富的任务触发策略，包括：Cron触发、固定间隔触发、固定延时触发、API（事件）触发、人工触发、父子任务触发；
  • 调度过期策略：调度中心错过调度时间的补偿处理策略，包括：忽略、立即补偿触发一次等；
    -阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度；
  • 任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务；
  • 任务失败重试：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；其中分片任务支持分片粒度的失败重试；
  • 任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方便的扩展短信、钉钉等告警方式；
  • 路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等；
  • 分片广播任务：执行器集群部署时，任务路由策略选择"分片广播"情况下，一次任务调度将会广播触发集群中所有执行器执行一次任务，可根据分片参数开发分片任务；
  • 动态分片：分片广播任务以执行器为维度进行分片，支持动态扩容执行器集群从而动态增加分片数量，协同进行业务处理；在进行大数据量业务操作时可显著提升任务处理能力和速度。
  • 故障转移：任务路由策略选择"故障转移"情况下，如果执行器集群中某一台机器故障，将会自动Failover切换到一台正常的执行器发送调度请求。
  • 任务进度监控：支持实时监控任务进度；
  • Rolling实时日志：支持在线查看调度结果，并且支持以Rolling方式实时查看执行器输出的完整的执行日志；
  • GLUE：提供Web IDE，支持在线开发任务逻辑代码，动态发布，实时编译生效，省略部署上线的过程。支持30个版本的历史版本回溯。
  • 脚本任务：支持以GLUE模式开发和运行脚本任务，包括Shell、Python、NodeJS、PHP、PowerShell等类型脚本;
  • 命令行任务：原生提供通用命令行任务Handler（Bean任务，“CommandJobHandler”）；业务方只需要提供命令行即可；
  • 任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔；
  • 一致性：“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行；
  • 自定义任务参数：支持在线配置调度任务入参，即时生效；
  • 调度线程池：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞；
  • 数据加密：调度中心和执行器之间的通讯进行数据加密，提升调度信息安全性；
  • 邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件；
  • 推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;
  • 运行报表：支持实时查看运行数据，如任务数量、调度次数、执行器数量等；以及调度报表，如调度日期分布图，调度成功分布图等；
  • 全异步：任务调度流程全异步化设计实现，如异步调度、异步运行、异步回调等，有效对密集调度进行流量削峰，理论上支持任意时长任务的运行；
  • 跨语言：调度中心与执行器提供语言无关的 RESTful API 服务，第三方任意语言可据此对接调度中心或者实现执行器。除此之外，还提供了 “多任务模式”和“httpJobHandler”等其他跨语言方案；
  • 国际化：调度中心支持国际化设置，提供中文、英文两种可选语言，默认为中文；
  • 容器化：提供官方docker镜像，并实时更新推送dockerhub，进一步实现产品开箱即用；
  • 线程池隔离：调度线程池进行隔离拆分，慢任务自动降级进入"Slow"线程池，避免耗尽调度线程，提高系统稳定性；
  • 用户管理：支持在线管理系统用户，存在管理员、普通用户两种角色；
  • 权限控制：执行器维度进行权限控制，管理员拥有全量权限，普通用户需要分配执行器权限后才允许相关操作；

架构图如下：

在这里插入图片描述

快速开始

鉴于关于 xuxueli/xxl-job-admin:2.4.0 镜像拉取过慢，所以自己构建版本镜像。

当然本地直接启动也是可以的，构建镜像主要是为了方便后续的集群操作。

调度中心

  1. 拉取版本源码：v2.4.0

  2. 解压，源码导入IDE，maven编译

    - /doc :文档资料
- /db :“调度数据库”建表脚本
- /xxl-job-admin :调度中心，项目源码
- /xxl-job-core :公共Jar依赖
- /xxl-job-executor-samples :执行器，Sample示例项目

  3. db准备，路径：xxl-job-2.4.0\doc\db
    在这里插入图片描述

    - xxl_job_lock：任务调度锁表；

- xxl_job_group：执行器信息表，维护任务执行器信息；

- xxl_job_info：调度扩展信息表： 用于保存XXL-JOB调度任务的扩展信息，如任务分组、任务名、机器地址、执行器、执行入参和报警邮件等等；

- xxl_job_log：调度日志表： 用于保存XXL-JOB任务调度的历史信息，如调度结果、执行结果、调度入参、调度机器和执行器等等；

- xxl_job_log_report：调度日志报表：用户存储XXL-JOB任务调度日志的报表，调度中心报表功能页面会用到；

- xxl_job_logglue：任务GLUE日志：用于保存GLUE更新历史，用于支持GLUE的版本回溯功能；

- xxl_job_registry：执行器注册表，维护在线的执行器和调度中心机器地址信息；

- xxl_job_user：系统用户表；

  4. 调度模块配置变更，路径：/xxl-job/xxl-job-admin/src/main/resources/application.properties

    ### 调度中心JDBC链接
spring.datasource.url=jdbc:mysql://ip:host/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=user
spring.datasource.password=password
spring.datasource.driver-class-name=com.mysql.jdbc.Driver

### 报警邮箱
spring.mail.host=smtp.qq.com
spring.mail.port=25
spring.mail.username=xxx@qq.com
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory

### 调度中心通讯TOKEN [选填]：非空时启用；
xxl.job.accessToken=
### 调度中心国际化配置 [必填]： 默认为 "zh_CN"/中文简体, 可选范围为 "zh_CN"/中文简体, "zh_TC"/中文繁体 and "en"/英文；
xxl.job.i18n=zh_CN

## 调度线程池最大线程配置【必填】
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100

### 调度中心日志表数据保存天数 [必填]：过期日志自动清理；限制大于等于7时生效，否则, 如-1，关闭自动清理功能；
xxl.job.logretentiondays=30

  5. 构建镜像，项目中提供了dockerfile
    在这里插入图片描述在这里插入图片描述

  6. 启动调度中心

    docker run -p 8080:8080 -v /tmp:/data/applogs --name xxl-job-admin  -d  xxl-job-admin:v2.4.0

/**
* 如需自定义 mysql 等配置，可通过 "-e PARAMS" 指定，参数格式 PARAMS="--key=value  --key2=value2" ；
* 配置项参考文件：/xxl-job/xxl-job-admin/src/main/resources/application.properties
* 如需自定义 JVM内存参数 等配置，可通过 "-e JAVA_OPTS" 指定，参数格式 JAVA_OPTS="-Xmx512m" ；
*/

docker run -e PARAMS="--spring.datasource.url=jdbc:mysql://172.17.0.3:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai" -p 8080:8080 -v /tmp:/data/applogs --name xxl-job-admin  -d xuxueli/xxl-job-admin:{指定版本}
    • 踩坑：mysql和xxl-job-admin在同一个虚拟机，xxl-job-admin使用虚拟机ip不可用，需要使用mysql容器ip。
      在这里插入图片描述
      在这里插入图片描述

  7. 访问调度中心：admin/123456
    在这里插入图片描述
    在这里插入图片描述

执行器示例

使用项目中提供的xxl-job-executor-sample-springboot，结合调度中心，做个简单验证。

  1. 修改配置文件/xxl-job/xxl-job-executor-samples/xxl-job-executor-sample-springboot/src/main/resources/application.properties
    ### 调度中心部署根地址 [选填]：如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"；为空则关闭自动注册；
### 容器部署使用调度中心容器内ip
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin

### 执行器通讯TOKEN [选填]：非空时启用；
xxl.job.accessToken=

### 执行器AppName [选填]：执行器心跳注册分组依据；为空则关闭自动注册
xxl.job.executor.appname=xxl-job-executor-sample

### 执行器注册 [选填]：优先使用该配置作为注册地址，为空时使用内嵌服务 ”IP:PORT“ 作为注册地址。从而更灵活的支持容器类型执行器动态IP和动态映射端口问题。
xxl.job.executor.address=

### 执行器IP [选填]：默认为空表示自动获取IP，多网卡时可手动设置指定IP，该IP不会绑定Host仅作为通讯实用；地址信息用于 "执行器注册" 和 "调度中心请求并触发任务"；
xxl.job.executor.ip=

### 执行器端口号 [选填]：小于等于0则自动获取；默认端口为9999，单机部署多个执行器时，注意要配置不同执行器端口；
xxl.job.executor.port=9999

### 执行器运行日志文件存储磁盘路径 [选填] ：需要对该路径拥有读写权限；为空则使用默认路径；
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler

### 执行器日志文件保存天数 [选填] ： 过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能；
xxl.job.executor.logretentiondays=30
  2. 可以看到示例中使用Bean的方式，将配置文件中的属性注入并返回执行器对象。
    在这里插入图片描述
  3. 对比调度中心执行器设置
    在这里插入图片描述
  4. 示例任务设置
    在这里插入图片描述
  5. 对比调度中心任务配置
    在这里插入图片描述
  6. 利用dockerfile快速启动执行器,路径：\xxl-job\xxl-job-executor-samples\xxl-job-executor-sample-springboot
    在这里插入图片描述
  7. 调度中心查看执行器节点
    在这里插入图片描述
  8. 启动测试任务进行测试
    在这里插入图片描述
    在这里插入图片描述
  9. 调度中心调度日志查看
    在这里插入图片描述

自定义任务

在新建自定义任务之前，我们先对任务中的各项参数进行解释：

基础配置：
    - 执行器：任务的绑定的执行器，任务触发调度时将会自动发现注册成功的执行器, 实现任务自动发现功能; 另一方面也可以方便的进行任务分组。每个任务必须绑定一个执行器, 可在 "执行器管理" 进行设置;
    - 任务描述：任务的描述信息，便于任务管理；
    - 负责人：任务的负责人；
    - 报警邮件：任务调度失败时邮件通知的邮箱地址，支持配置多邮箱地址，配置多个邮箱地址时用逗号分隔；

触发配置：
    - 调度类型：
        无：该类型不会主动触发调度；
        CRON：该类型将会通过CRON，触发任务调度；
        固定速度：该类型将会以固定速度，触发任务调度；按照固定的间隔时间，周期性触发；
        固定延迟：该类型将会以固定延迟，触发任务调度；按照固定的延迟时间，从上次调度结束后开始计算延迟时间，到达延迟时间后触发下次调度；
    - CRON：触发任务执行的Cron表达式；
    - 固定速度：固定速度的时间间隔，单位为秒；
    - 固定延迟：固定延迟的时间间隔，单位为秒；

任务配置：
    - 运行模式：
        BEAN模式：任务以JobHandler方式维护在执行器端；需要结合 "JobHandler" 属性匹配执行器中任务；
        GLUE模式(Java)：任务以源码方式维护在调度中心；该模式的任务实际上是一段继承自IJobHandler的Java类代码并 "groovy" 源码方式维护，它在执行器项目中运行，可使用@Resource/@Autowire注入执行器里中的其他服务；
        GLUE模式(Shell)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "shell" 脚本；
        GLUE模式(Python)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "python" 脚本；
        GLUE模式(PHP)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "php" 脚本；
        GLUE模式(NodeJS)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "nodejs" 脚本；
        GLUE模式(PowerShell)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "PowerShell" 脚本；
    - JobHandler：运行模式为 "BEAN模式" 时生效，对应执行器中新开发的JobHandler类“@JobHandler”注解自定义的value值；
    - 执行参数：任务执行所需的参数；    
 
高级配置：
    - 路由策略：当执行器集群部署时，提供丰富的路由策略，包括；
        FIRST（第一个）：固定选择第一个机器；
        LAST（最后一个）：固定选择最后一个机器；
        ROUND（轮询）：；
        RANDOM（随机）：随机选择在线的机器；
        CONSISTENT_HASH（一致性HASH）：每个任务按照Hash算法固定选择某一台机器，且所有任务均匀散列在不同机器上。
        LEAST_FREQUENTLY_USED（最不经常使用）：使用频率最低的机器优先被选举；
        LEAST_RECENTLY_USED（最近最久未使用）：最久未使用的机器优先被选举；
        FAILOVER（故障转移）：按照顺序依次进行心跳检测，第一个心跳检测成功的机器选定为目标执行器并发起调度；
        BUSYOVER（忙碌转移）：按照顺序依次进行空闲检测，第一个空闲检测成功的机器选定为目标执行器并发起调度；
        SHARDING_BROADCAST(分片广播)：广播触发对应集群中所有机器执行一次任务，同时系统自动传递分片参数；可根据分片参数开发分片任务；
    - 子任务：每个任务都拥有一个唯一的任务ID(任务ID可以从任务列表获取)，当本任务执行结束并且执行成功时，将会触发子任务ID所对应的任务的一次主动调度。
    - 调度过期策略：
        - 忽略：调度过期后，忽略过期的任务，从当前时间开始重新计算下次触发时间；
        - 立即执行一次：调度过期后，立即执行一次，并从当前时间开始重新计算下次触发时间；
    - 阻塞处理策略：调度过于密集执行器来不及处理时的处理策略；
        单机串行（默认）：调度请求进入单机执行器后，调度请求进入FIFO队列并以串行方式运行；
        丢弃后续调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，本次请求将会被丢弃并标记为失败；
        覆盖之前调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，将会终止运行中的调度任务并清空队列，然后运行本地调度任务；
    - 任务超时时间：支持自定义任务超时时间，任务运行超时将会主动中断任务；
    - 失败重试次数；支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；

GLUE模式

  1. 新建该模式任务，这里使用GLUE（Java）
    在这里插入图片描述
  2. 任务的操作按钮，选择GLUE IDE进入 “GLUE编辑器开发界面”，运行模式的任务默认已经初始化了示例任务代码，即打印Hello World。（ “GLUE模式(Java)” 运行模式的任务实际上是一段继承自IJobHandler的Java类代码，它在执行器项目中运行，可使用@Resource/@Autowire注入执行器里中的其他服务）
    在这里插入图片描述
  3. 让其执行一次，进行测试，观察调度日志
    在这里插入图片描述
  4. 观察执行器相关控制台日志
    在这里插入图片描述

BEAN模式（类形式）

Bean模式任务，支持基于类的开发方式，每个任务对应一个Java类。

  • 优点：
    • 不限制项目环境，兼容性好。即使是无框架项目，如main方法直接启动的项目也可以提供支持
    • 可以参考示例项目 “xxl-job-executor-sample-frameless”；
  • 缺点：
    • 每个任务需要占用一个Java类，造成类的浪费；
    • 不支持自动扫描任务并注入到执行器容器，需要手动注入。
  1. 自定义任务处理器，实现 IJobHandler 类
    public class MyJobHandler extends IJobHandler {

    @Override
    public void execute() throws Exception {
        System.out.println("---------------Bean class----------");
    }

}
  2. 手动注入到执行器
    public class JobClassStart{

    public static void main(String[] args) {
        XxlJobExecutor.registJobHandler("myJo bHandler", new MyJobHandler());
    }

}
  3. UI页面新建任务，填写相应的 JobHandler
    在这里插入图片描述
  4. 执行一次进行测试
    在这里插入图片描述
    在这里插入图片描述

BEAN模式（方法形式）

快速开始中就是典型的Bean方法形式，这里就不做演示了。

小结

在XXL-Job中，经常使用的两种方式定义任务的执行逻辑，即"Bean Class模式"和"Bean方法模式"。

  1. Bean Class模式：

    • 在Bean Class模式下，任务的执行逻辑被定义在一个实现了com.xxl.job.core.handler.IJobHandler接口的类中。
    • 手动注入到执行器中。

  2. Bean方法模式：

    • 在Bean方法模式下，任务的执行逻辑被定义在一个Spring Bean中的具体方法中。
    • 需要将任务执行的方法标记为@XxlJob注解，并在value属性中指定任务的名称。
    • XXL-Job的执行器会通过Spring容器获取相应的Bean，并调用标记了@XxlJob注解的方法执行任务。

PS：

  • 在Bean Class模式中，任务的执行逻辑是在任务执行类的execute方法中实现。
  • 在Bean方法模式中，任务的执行逻辑是在Spring Bean中的具体方法中实现。
  • Bean Class模式通过类的方式来定义任务，适用于任务逻辑较为复杂的场景。
  • Bean方法模式通过方法的方式来定义任务，适用于任务逻辑相对简单的场景。

选择使用哪种模式取决于具体的需求和任务逻辑的复杂度。

集群表现

执行器集群

执行器支持集群部署，提升调度系统可用性，同时提升任务处理能力。

执行器集群部署时，几点要求和建议：

执行器回调地址（xxl.job.admin.addresses）需要保持一致；执行器根据该配置进行执行器自动注册等操作。
同一个执行器集群内AppName（xxl.job.executor.appname）需要保持一致；调度中心根据该配置动态发现不同集群的在线执行器列表。

环境准备
  1. 容器集群
    在这里插入图片描述
  2. 数据库注册表体现
    在这里插入图片描述
  3. 调度中心UI体现
    在这里插入图片描述
任务路由策略
❗️轮询

见文知意，直接贴上结果。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

❗️故障转移

调度中心每次发起调度请求时，会按照顺序对执行器发出心跳检测请求，第一个检测为存活状态的执行器将会被选定并发送调度请求。

  1. 为了有故障体现，我们执行器修改为手动录入
    在这里插入图片描述
  2. 停止两个服务，确保只有172.17.0.7:9999服务正常
    在这里插入图片描述
  3. 修改任务的路由策略
    在这里插入图片描述
  4. 执行一次，观察结果
    在这里插入图片描述

在调度备注可以看出本地调度运行轨迹，执行器的注册方式、地址列表和任务的路由策略。

故障转移(FAILOVER)路由策略下，调度中心首先对第一个地址进行心跳检测，心跳失败因此自动跳过，第二个依然心跳检测失败。直至心跳检测第三个地址“127.0.0.7:9999”成功，然后对其发送调度请求，调度流程结束，等待执行器显示执行结果。

这个流程要大概清楚。

❗️分片广播

执行器集群部署时，任务路由策略选择 分片广播 情况下，一次任务调度将会广播触发对应集群中所有执行器执行一次任务，同时系统自动传递分片参数；可根据分片参数开发分片任务；

分片广播 以执行器为维度进行分片，支持动态扩容执行器集群从而动态增加分片数量，协同进行业务处理；在进行大数据量业务操作时可显著提升任务处理能力和速度。

分片广播 和普通任务开发流程一致，不同之处在于可以获取分片参数，获取分片参数进行分片业务处理。

  1. 修改任务
    在这里插入图片描述
  2. 执行一次查看结果
    在这里插入图片描述
  3. 执行日志监测
    在这里插入图片描述

很有用，大任务分成小任务分到每个执行器上执行。这种方式可以充分利用集群中的资源，提高任务的执行效率。
而且因在不同的执行器上，任务分片并行处理，可以显著提升任务的执行速度，特别是对于一些耗时较长的任务或者需要处理大量数据的任务来说，可以有效地缩短任务的执行时间。

适用于分布式环境下的大规模任务调度和处理。

调度器集群

调度中心支持集群部署，提升调度系统容灾和可用性。

调度中心集群部署时，几点要求和建议：

DB配置保持一致；
集群机器时钟保持一致（单机集群忽视）；

环境准备
  • 准备了两个调度中心和nginx代理容器
    在这里插入图片描述
  • 端口暴露情况
    在这里插入图片描述
  • nginx作为统一入口
    在这里插入图片描述
  • 访问正常
    在这里插入图片描述
  • 再整俩执行器
    在这里插入图片描述
  • 查看页面是否有注册上去
    在这里插入图片描述
    环境完成。
测试调度

XXL-JOB调度模块默认采用并行机制，在多线程调度的情况下，调度模块被阻塞的几率很低，大大提高了调度系统的承载量。
XXL-JOB的不同任务之间并行调度、并行执行。
XXL-JOB的单个任务，针对多个执行器是并行运行的，针对单个执行器是串行执行的。同时支持任务终止。

主要测试，是否会有重复调度的情况发生。

  • 修改任务
    在这里插入图片描述
  • 执行一次观察调用
    在这里插入图片描述
  • 再次执行一次观察调用
    在这里插入图片描述
    测试结果：并没有重复调用。
解析

利用xxl_job_lock表做排他锁，当一个任务需要被调度时，调度中心会先查询该表，判断当前任务是否已经被锁定。如果任务已被锁定，表示该任务已经在执行中，调度中心会跳过该任务的调度，等待下次调度。如果任务未被锁定，调度中心会通过更新 xxl_job_lock 表的方式对该任务进行加锁，以避免重复调度。任务执行完成后，调度中心会释放对应任务的锁，将 xxl_job_lock 表中对应的记录删除。

  1. 先通过jdbc获取一个数据库连接并将事务自动commit关闭。
  2. 通过select for update的方式来锁住一行(排它锁)。
  3. 执行事务逻辑。
  4. 事务执行完毕手动提交事务。
    在这里插入图片描述

Quartz & Xxl-Job

xxl-job和Quartz都是流行的任务调度框架，它们在功能和性能上有一些差异。下面是对它们的优缺点的总结：

xxl-job的优点：

  1. 精确的时间调度：xxl-job提供了灵活的时间表达式和任务调度策略，可以满足各种复杂的调度需求。
  2. 分布式支持：xxl-job支持分布式部署，可以轻松实现任务的分布式调度和执行。
  3. 可视化管理：xxl-job提供了友好的Web界面管理工具，可以方便地查看和管理任务。
  4. 运维监控功能：xxl-job提供了任务的运行状态监控和告警功能，方便运维人员及时处理异常情况。
  5. 良好的扩展性：xxl-job支持任务执行器的自定义扩展，可以根据业务需求灵活定制任务执行逻辑。

xxl-job的缺点：

  1. 社区规模相对较小：相比Quartz而言，xxl-job的社区规模较小，相关文档和资源相对较少，对于一些特定问题的解决可能需要耗费一些时间和精力。
  2. 功能相对于Quartz较少：虽然xxl-job提供了基本的任务调度功能，但与Quartz相比，xxl-job在高级调度特性方面的支持可能较为有限。（例如作业链（Job Chaining）、依赖关系管理、错过执行策略、作业监听器、作业状态持久化等。）


Quartz的优点：

  1. 成熟稳定：Quartz是一个经过长期使用和验证的任务调度框架，具有较高的稳定性和可靠性。
  2. 强大的调度功能：Quartz提供了多种调度特性，如固定间隔、Cron表达式和作业链等，可以满足各种复杂的调度需求。
  3. 丰富的文档和资源：由于Quartz的广泛使用，相关的文档和资源相对丰富，可以方便地获取支持和解决问题。
  4. 支持集群和分布式：Quartz具有良好的集群和分布式支持，可以实现高可用和高性能的任务调度。

Quartz的缺点：

  1. 配置复杂：Quartz的配置相对复杂，需要理解其基本原理和概念，初学者可能需要一些时间来适应和熟悉。
  2. 可视化管理相对不足：Quartz本身并没有提供官方的可视化管理工具，需要通过第三方工具或自定义开发来实现任务的管理和监控。
  3. quartz底层以“抢占式”获取DB锁并由抢占成功节点负责运行任务，会导致节点负载悬殊非常大；而XXL-JOB通过执行器实现“协同分配式”运行任务，充分发挥集群优势，负载各节点均衡。

没有最好，只有最合适~~~

总在寒冷清秋
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
定时任务quartz实现分组串行并行动态配置
05-06
定时任务quartz实现分组串行并行动态配置
XXL-JOB分布式任务调度系统培训PPT
08-09
"XXL-JOB分布式任务调度系统培训PPT" XXL-JOB分布式任务调度系统是当前 Java 生态中的一种流行的分布式任务调度系统。它提供了多种功能特性，如支持 cron 表达式、支持多种任务类型、支持任务优先级、支持任务依赖...
分布式的定时任务调度平台 -XXL-JOB
weixin_43969936的博客
07-11 971
XXL-JOB是一个基于SpringBoot框架的开源的分布式的任务调度平台，在GitHub上持续保持着很高的热度。部署即用。他可以通过添加定时任务并进行一些简单配置的方式，让程序在指定的时间单次或循环调用指定的接口，并传入相应的参数，在执行结束后，会将程序的执行结果以指定的格式展示出来，方便对执行的结果进行了解。
分布式-定时任务XXL JOB使用
RuiKe的博客
12-29 1405
一、分布式定时任务调度平台介绍 小项目定时任务和业务代码存放在同一个JVM，即同一个服务器；大公司定时任务执行和业务代码服务器是分开的，是独立的JVM。下面学习分布式定时任务！ 传统定时任务请访问：连接 1.1、传统定时任务问题思考 （1）传统情况下定时任务会出现哪些问题？ 宕机、报错、高并发 （2）在高并发下导致Job服务器宕机，这时怎么处理？ ...
分布式定时任务xxl-Job
sv
07-10 2149
一款分布式的任务调度器xxl-job。xxl-job是一款极容易学习上手的轻量级开源分布式调度框架,分为管理端和执行端两块。
基于quartz实现定时任务管理系统
InterestAndFun的博客
03-06 2683
说起定时任务框架，首先想到的是Quartz。这是定时任务的老牌框架了，它的优缺点都很明显。借助PowerJob 的readme文档的内容简单带过一下这部分。除了上面提到，还有quartzui也是相当火热的，可以自行了解一下。那么都这么多后起之秀，个个吊打quartz，为什么我还选择用quartz来做定时任务？技术是服务于业务的，肯定是有需求呗。公司有个统一管理平台，现在需要开发一个定时任务管理平台，可以动态去管理配置定时任务、查看运行日志。为什么不考虑其它的框架？
xxl-job分布式任务调度平台 v2.4.0.zip
最新发布
04-02
总结起来，XXL-JOB分布式任务调度平台v2.4.0是一个强大且灵活的工具，适用于企业级的分布式任务调度。通过学习和使用，不仅可以提升开发者的技能，也能为企业构建高效的任务调度系统提供有力支持。
分布式任务调度平台XXL-JOB应用.docx
05-20
XXL-JOB是一个轻量级的分布式任务调度平台，它主要解决了传统调度工具如Quartz在实际使用中遇到的问题，提供了更加便捷、高效且可扩展的解决方案。该平台的设计目标是快速开发、易于学习、轻量级且具备良好的扩展性...
分布式调度xxl-job
01-17
* XXLJob2.3：XXL-Job支持XXLJob2.3版本。 知识点四：XXL-Job的学习.form * 视频讲解：XXL-Job的学习形式包括视频讲解。 * 文字笔记：XXL-Job的学习形式包括文字笔记。 * 原理分析：XXL-Job的学习形式包括原理分析...
xxl-job-2.4.0定时任务框架Oracle版本
10-16
**XXL-JOB定时任务框架Oracle版本详解** XXL-JOB是一个分布式任务调度平台，它提供了简单易用的API和Web界面，使得开发者能够轻松地实现任务的分布式调度。XXL-JOB 2.4.0是该框架的一个重要版本，针对Oracle数据库...
Redis入门完整教程：故障转移
Lee达森的博客
07-07 1954
Redis集群自身实现了高可用。高可用首先需要解决集群部分失败的场 景：当集群内少量节点出现故障时通过自动故障转移保证集群可以正常对外 提供服务。本节介绍故障转移的细节，分析故障发现和替换故障节点的过 程。 10.6.1　故障发现 当集群内某个节点出现问题时，需要通过一种健壮的方式保证识别出节 点是否发生了故障。Redis集群内节点通过ping/pong消息实现节点通信，消 息不但可以传播节点槽信息，还可以传播其他状态如：主从状态、节点故障 等。因此故障发现也是通过消息传播机制实现的，主要环节包括：主观下
分布式定时任务-XXL-JOB-教程+实战
Roker
02-03 8750
xxl-job确实很强大，功能也很全,经过该文章学习相信你可以把xxl-job给用起来了，但是如果你的项目是一个小体量的单体，我不太建议使用它，Quzrtz或者SpringBoot Task就足够 ，对于xxl-job个人还是有些笨重。
SpringBoot工具篇--XXL-JOB 分布式任务调度平台
拾一二的博客
02-10 6724
XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
【分布式任务调度】（四）XXL-JOB的任务调度执行流程及实现原理
积木成林，聚沙成塔
10-29 2万+
调度中心调用执行器，执行定时任务。执行器回调调度中心，上报定时任务执行结果。在调度和执行的整个流程中，XXL-JOB使用了大量的异步操作，减少调度中心的资源压力，以此在集中式调度配置与性能之间找到平衡点。异步实践通过线程池来执行异步操作通过自旋线程 + 阻塞队列的方式来执行异步操作。
xxl-job源码解析(看这一篇就够了，超简约且详细)
热门推荐
Nuan_Feng的博客
04-12 2万+
服务端启动流程 首先找到配置类 XxlJobAdminConfig 可以发现该类实现 InitializingBean接口，这里直接看 afterPropertiesSet方法即可。 @Override public void afterPropertiesSet() throws Exception { //利用静态声明的只会加载一次的特性，初始化一个单例对象。 adminConfig = this; //初始化xxjob调度器
springboot的定时任务防止重复执行，数据库加锁实现
weixin_44001799的博客
03-22 444
如何防止定时任务重复执行
记录工作问题 -- 解决多实例情况下：定时任务重复执行的问题
qq_37700773的博客
01-10 7387
多实例情况下：定时任务重复执行的问题前言一、不使用自动生效的定时任务二、使用redis 创建一个标识来判断（此处引用同事的想法）三、使用XXLJOB四、使用ShedLock + redis最后说明 前言 场景：现在集群越来越普及，一个服务拥有多个实例时，何如避免定时任务重复执行? 一、不使用自动生效的定时任务 详见：https://blog.csdn.net/qq_37700773/article/details/109385361?spm=1001.2014.3001.5501 但是不建议使用，原因是
xxljob后台集群部署如何避免重复执行任务
李振伟的博客
03-10 5779
工作中有一场景，后台部署2个节点，同时注册到执行器内，如何避免任务重复执行呢？
​基于分布式锁解决xxl-job分布式定时任务重复执行的方法​
qq_30062385的博客
02-24 4018
遇到的问题及使用场景 对将要过期（倒计时10天）的优惠券使用用户进行发短信提醒，每天上午10点发一次，发短信的服务有3个实例，如果不进行处理，用户每天会受到3条相同的短信，既影响用户体验，又浪费短信资源，那该怎么处理呢，我现在使用的Spring自带的定时任务组件Scheduled，可能Elastic-Job,XXL-Job开源框架已经很好的解决了这些问题，笔者只讨论是用Spring Task的情况。 Redis分布式锁的构建 @Slf4j public class RedisLock impleme
XXL-JOB：分布式任务调度平台详解
XXL-JOB是一个强大的工具，主要针对分布式环境下的定时任务管理。它提供了多种特性以满足复杂的企业级需求： 1. **简单易用**：XXL-JOB通过Web界面提供了对任务的创建、读取、更新和删除（CRUD）操作，用户可以在一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

总在寒冷清秋

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值