xxl-job详解

SRY12240419

于 2024-07-29 17:13:10 发布

阅读量490

点赞数 12

分类专栏：工具文章标签： java 性能优化开发语言 spring

本文链接：https://blog.csdn.net/SRY12240419/article/details/140657424

版权

工具专栏收录该内容

4 篇文章 0 订阅

订阅专栏

文章目录

一、搭建XXL-JOB
二、初始化"调度数据库"
三、执行器
四、执行任务
五、分片广播
六、分片方案
- 6.1 保证任务不重复执行

XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
官网地址：https://www.xuxueli.com/xxl-job/
XXL-JOB主要有调度中心、执行器、任务：
在这里插入图片描述

调度中心： 负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码；主要职责为执行器管理、任务管理、监控运维、日志管理等
任务执行器： 负责接收调度请求并执行任务逻辑；只要职责是注册服务、任务执行服务（接收到任务后会放入线程池中的任务队列）、执行结果上报、日志服务等
任务： 负责执行具体的业务处理。

调度中心与执行器之间的工作流程如下：
在这里插入图片描述
执行流程：
1. 任务执行器根据配置的调度中心的地址，自动注册到调度中心
2. 达到任务触发条件，调度中心下发任务
3. 执行器基于线程池执行任务，并把执行结果放入内存队列中、把执行日志写入日志文件中
4. 执行器消费内存队列中的执行结果，主动上报给调度中心
5. 当用户在调度中心查看任务日志，调度中心请求任务执行器，任务执行器读取任务日志文件并返回日志详情

一、搭建XXL-JOB

首先下载XXL-JOB
GitHub：https://github.com/xuxueli/xxl-job
码云：https://gitee.com/xuxueli0323/xxl-job

使用IDEA打开解压后的目录
在这里插入图片描述
xxl-job-admin： 调度中心
xxl-job-core： 公共依赖
xxl-job-executor-samples： 执行器Sample示例（选择合适的版本执行器，可直接使用）
：xxl-job-executor-sample-springboot： Springboot版本，通过Springboot管理执行器，推荐这种方式；
：xxl-job-executor-sample-frameless： 无框架版本；
doc : 文档资料，包含数据库脚本

二、初始化"调度数据库"

获取 “调度数据库初始化SQL脚本” 并执行即可，正常情况下应该生成16张表。SQL脚本位置：/xxl-job/doc/db/tables_xxl_job.sql
注意⚠️：调度中心支持集群部署，集群情况下各节点务必连接同一个mysql实例;
如果mysql做主从,调度中心集群节点务必强制走主库

三、执行器

下边配置执行器，执行器负责与调度中心通信接收调度中心发起的任务调度请求。

3.1进入调度中心添加执行器

在这里插入图片描述
点击新增，填写执行器信息，appname是前边在nacos中配置xxl信息时指定的执行器的应用名。

3.2 添加依赖

<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
</dependency>

3.3 配置参数

在nacos下的media-service-dev.yaml下配置xxl-job:

xxl:
  job:
    admin: 
      addresses: http://192.168.101.65:8088/xxl-job-admin
    executor:
      appname: media-process-service
      address: 
      ip: 
      port: 9999
      logpath: /data/applogs/xxl-job/jobhandler
      logretentiondays: 30
    accessToken: default_token

注意配置中的appname这是执行器的应用名，port是执行器启动的端口，如果本地启动多个执行器注意端口不能重复。

3.4 配置xxl-job的执行器

将xxl-job示例工程下配置类拷贝到所需工程目录下:
在这里插入图片描述

到此完成配置xxl-job执行器，在xxl-job调度中心添加执行器，下边准备测试执行器与调度中心是否正常通信，因为接口工程依赖了service工程，所以启动媒资管理模块的接口工程。
启动后观察日志，出现下边的日志表示执行器在调度中心注册成功

在这里插入图片描述

同时观察调度中心中的执行器界面

在这里插入图片描述

四、执行任务

下边编写任务，参考示例工程中任务类的编写方法，如下图：
在这里插入图片描述
新建jobhandler存放任务类，下边参考示例工程编写一个任务类:

package com.xuecheng.media.service.jobhandler;

import com.xxl.job.core.context.XxlJobHelper;
import com.xxl.job.core.handler.annotation.XxlJob;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;

import java.util.concurrent.TimeUnit;

/**
 * @description 测试执行器
 * @author Mr.M
 * @date 2022/9/13 20:32
 * @version 1.0
 */
 @Component
 @Slf4j
public class SampleJob {

 /**
  * 1、简单任务示例（Bean模式）
  */
 @XxlJob("testJob")
 public void testJob() throws Exception {
  log.info("开始执行.....");

 }

}

下边在调度中心添加任务，进入任务管理
在这里插入图片描述
点击新增，填写任务信息

注意红色标记处
调度类型：
固定速度指按固定的间隔定时调度。
Cron，通过Cron表达式实现更丰富的定时调度策略。
Cron表达式是一个字符串，通过它可以定义调度策略，格式如下：
{秒数} {分钟} {小时} {日期} {月份} {星期} {年份(可为空)}
xxl-job提供图形界面去配置：
在这里插入图片描述
运行模式有BEAN和GLUE，bean模式较常用就是在项目工程中编写执行器的任务代码，GLUE是将任务代码编写在调度中心。
JobHandler即任务方法名，填写任务方法上边@XxlJob注解中的名称。

路由策略：当执行器集群部署时，调度中心向哪个执行器下发任务，这里选择第一个表示只向第一个执行器下发任务，路由策略的其它选项稍后在分片广播章节详细解释。
高级配置的其它配置项稍后在分片广播章节详细解释。

添加成功，启动任务
**加粗样式**
通过调度日志查看任务执行情况
在这里插入图片描述
下边启动媒资管理的service工程，启动执行器。
观察执行器方法的执行。

如果要停止任务需要在调度中心操作

任务跑一段时间注意清理日志

五、分片广播

掌握了xxl-job的基本使用，下边思考如何进行分布式任务处理呢？如下图，我们会启动多个执行器组成一个集群，去执行任务。
在这里插入图片描述
执行器在集群部署下调度中心有哪些路由策略呢？
查看xxl-job官方文档，阅读高级配置相关的内容：

高级配置：
路由策略：当执行器集群部署时，提供丰富的路由策略，包括:
FIRST（第一个）： 固定选择第一个机器；
LAST（最后一个）： 固定选择最后一个机器；
ROUND（轮询）： ；
RANDOM（随机）： 随机选择在线的机器；
CONSISTENT_HASH（一致性HASH）： 每个任务按照Hash算法固定选择某一台机器，且所有任务均匀散列在不同机器上。
LEAST_FREQUENTLY_USED（最不经常使用）： 使用频率最低的机器优先被选举；
LEAST_RECENTLY_USED（最近最久未使用）： 最久未使用的机器优先被选举；
FAILOVER（故障转移）： 按照顺序依次进行心跳检测，第一个心跳检测成功的机器选定为目标执行器并发起调度；
BUSYOVER（忙碌转移）： 按照顺序依次进行空闲检测，第一个空闲检测成功的机器选定为目标执行器并发起调度；
SHARDING_BROADCAST(分片广播)： 广播触发对应集群中所有机器执行一次任务，同时系统自动传递分片参数；可根据分片参数开发分片任务；
- 子任务：每个任务都拥有一个唯一的任务ID(任务ID可以从任务列表获取)，当本任务执行结束并且执行成功时，将会触发子任务ID所对应的任务的一次主动调度，通过子任务可以实现一个任务执行完成去执行另一个任务。
- 调度过期策略：
- 忽略：调度过期后，忽略过期的任务，从当前时间开始重新计算下次触发时间；
- 立即执行一次：调度过期后，立即执行一次，并从当前时间开始重新计算下次触发时间；
- 阻塞处理策略：调度过于密集执行器来不及处理时的处理策略；
单机串行（默认）：调度请求进入单机执行器后，调度请求进入FIFO队列并以串行方式运行；
丢弃后续调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，本次请求将会被丢弃并标记为失败；
覆盖之前调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，将会终止运行中的调度任务并清空队列，然后运行本地调度任务；
- 任务超时时间：支持自定义任务超时时间，任务运行超时将会主动中断任务；
- 失败重试次数；支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；

下边要重点说的是分片广播策略，分片是指是调度中心以执行器为维度进行分片，将集群中的执行器标上序号：0，1，2，3…，广播是指每次调度会向集群中的所有执行器发送任务调度，请求中携带分片参数。
如下图：
在这里插入图片描述
每个执行器收到调度请求同时接收分片参数。
xxl-job支持动态扩容执行器集群从而动态增加分片数量，当有任务量增加可以部署更多的执行器到集群中，调度中心会动态修改分片的数量。
作业分片适用哪些场景呢？

分片任务场景： 10个执行器的集群来处理10w条数据，每台机器只需要处理1w条数据，耗时降低10倍；
广播任务场景： 广播执行器同时运行shell脚本、广播集群节点进行缓存更新等。所以，广播分片方式不仅可以充分发挥每个执行器的能力，并且根据分片参数可以控制任务是否执行，最终灵活控制了执行器集群分布式处理任务。

使用说明： “分片广播” 和普通任务开发流程一致，不同之处在于可以获取分片参数进行分片业务处理。 Java语言任务获取分片参数方式：
BEAN、GLUE模式(Java)，可参考Sample示例执行器中的示例任务

下边测试作业分片：
1、定义作业分片的任务方法

/**
  * 2、分片广播任务
  */
 @XxlJob("shardingJobHandler")
 public void shardingJobHandler() throws Exception {

  // 分片参数
  int shardIndex = XxlJobHelper.getShardIndex();
  int shardTotal = XxlJobHelper.getShardTotal();

log.info("分片参数：当前分片序号 = {}, 总分片数 = {}", shardIndex, shardTotal);
log.info("开始执行第"+shardIndex+"批任务");

 }

2、在调度中心添加任务
**加粗样式**
下边启动两个执行器实例，观察每个实例的执行情况:
两个实例的在启动时注意端口不能冲突：
实例1 在VM options处添加：-Dserver.port=63051 -Dxxl.job.executor.port=9998
实例2 在VM options处添加：-Dserver.port=63050 -Dxxl.job.executor.port=9999
例如：
在这里插入图片描述
启动两个实例
观察任务调度中心，稍等片刻执行器有两个

观察两个执行实例的日志：

从日志可以看每个实例的分片序号不同。
如果其中一个执行器挂掉，只剩下一个执行器在工作，稍等片刻调用中心发现少了一个执行器将动态调整总分片数为1。
到此作业分片任务调试完成，此时我们可以思考：
当一次分片广播到来，各执行器如何根据分片参数去分布式执行任务，保证执行器之间执行的任务不重复呢？

六、分片方案

任务添加成功后，对于要处理的任务会添加到待处理任务表中，现在启动多个执行器实例去查询这些待处理任务，此时如何保证多个执行器不会查询到重复的任务呢？
XXL-JOB并不直接提供数据处理的功能，它只会给执行器分配好分片序号，在向执行器任务调度的同时下发分片总数以及分片序号等参数，执行器收到这些参数根据自己的业务需求去利用这些参数。
下图表示了多个执行器获取视频处理任务的结构：
在这里插入图片描述
每个执行器收到广播任务有两个参数：分片总数、分片序号。每个执行从数据表取任务时可以让任务id 模上分片总数，如果等于分片序号则执行此任务。
上边两个执行器实例那么分片总数为2，序号为0、1，从任务1开始，如下：
1 % 2 = 1 执行器2执行
2 % 2 = 0 执行器1执行
3 % 2 = 1 执行器2执行
以此类推.

6.1 保证任务不重复执行

通过作业分片方案保证了执行器之间查询到不重复的任务，如果一个执行器在处理一个任务还没有完成，此时调度中心又一次请求调度，为了不重复处理同一个任务该怎么办？
首先配置调度过期策略：
查看文档如下：

调度过期策略：调度中心错过调度时间的补偿处理策略，包括：忽略、立即补偿触发一次等；
忽略：调度过期后，忽略过期的任务，从当前时间开始重新计算下次触发时间；
立即执行一次：调度过期后，立即执行一次，并从当前时间开始重新计算下次触发时间；
阻塞处理策略：调度过于密集执行器来不及处理时的处理策略；

这里我们选择忽略，如果立即执行一次就可能重复执行相同的任务。
在这里插入图片描述

其次，再看阻塞处理策略，阻塞处理策略就是当前执行器正在执行任务还没有结束时调度中心进行任务调度，此时该如何处理。
查看文档如下：

单机串行（默认）：调度请求进入单机执行器后，调度请求进入FIFO队列并以串行方式运行；
丢弃后续调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，本次请求将会被丢弃并标记为失败；
覆盖之前调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，将会终止运行中的调度任务并清空队列，然后运行本地调度任务；

这里如果选择覆盖之前调度则可能重复执行任务，这里选择丢弃后续调度或单机串行方式来避免任务重复执行。
只做这些配置可以保证任务不会重复执行吗？
做不到，还需要保证任务处理的幂等性，什么是任务的幂等性？任务的幂等性是指：对于数据的操作不论多少次，操作的结果始终是一致的。在本项目中要实现的是不论多少次任务调度同一个视频只执行一次成功的转码。
什么是幂等性？
它描述了一次和多次请求某一个资源对于资源本身应该具有同样的结果。
幂等性是为了解决重复提交问题，比如：恶意刷单，重复支付等。
解决幂等性常用的方案：