XXL-Job使用教程
原理:调度器调度往自己这注册的执行器
流程:先下载调度器,调度器就是XXL-Job的源码。然后再编写执行器,执行器就是自己的项目工程。
一、调度器
1、源码下载地址
2、执行源码中的SQL脚本,创建所需要的表
SQL脚本地址:源码工程中/doc/db/tables_xxl_job.sql。
将tables_xxl_job.sql的内容或者这个SQL文件在MySQL上执行。
3、IDEA打开源码
源码工程结构:
IDEA打开结构:
4、修改源码中application.properties文件的数据库连接信息
修改XXL-Job调度器源码中application.properties文件的数据库连接信息,数据库就是第二步执行SQL脚本的数据库。
*5、调度器源码中application.properties文件一些配置信息
当调度失败时,可以将失败信息发送指定邮箱
6、设置调度器与执行去器相关联的token
默认的token为:default_token,可以不修改,只要执行器设置的token与调度器的保持一致即可
7、通过IDEA启动调度器,并访问页面
默认的启动端口为8080,可以在application.properties文件更改启动端口,这里我改为了8888端口
默认的访问地址为:http://IP:端口/xxl-job-admin
默认的账号密码:admin/123456
二、执行器
执行器其实就是自己的工程项目
1、引入XXL-Job的Maven坐标
<dependency>
<groupId>com.xuxueli</groupId>
<artifactId>xxl-job-core</artifactId>
<version>2.3.1</version>
</dependency>
2、在执行器的application.properties或者application.yml文件中配置调度器信息
properties文件类型配置
### 调度中心部署根地址 [选填]:如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调";为空则关闭自动注册;
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
### 执行器通讯TOKEN [选填]:非空时启用;
xxl.job.accessToken=default_token
### 执行器AppName [选填]:执行器心跳注册分组依据;为空则关闭自动注册
xxl.job.executor.appname=xxl-job-executor-sample
### 执行器注册 [选填]:优先使用该配置作为注册地址,为空时使用内嵌服务 ”IP:PORT“ 作为注册地址。从而更灵活的支持容器类型执行器动态IP和动态映射端口问题。
xxl.job.executor.address=
### 执行器IP [选填]:默认为空表示自动获取IP,多网卡时可手动设置指定IP,该IP不会绑定Host仅作为通讯实用;地址信息用于 "执行器注册" 和 "调度中心请求并触发任务";
xxl.job.executor.ip=127.0.0.1
### 执行器端口号 [选填]:小于等于0则自动获取;默认端口为9999,单机部署多个执行器时,注意要配置不同执行器端口;
xxl.job.executor.port=9999
### 执行器运行日志文件存储磁盘路径 [选填] :需要对该路径拥有读写权限;为空则使用默认路径;
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### 执行器日志文件保存天数 [选填] : 过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能;
xxl.job.executor.logretentiondays=30
yaml文件类型配置
xxl:
job:
admin:
addresses: http://127.0.0.1:8888/xxl-job-admin
accessToken: default_token
executor:
appname: xxl-job-demo
address: 127.0.0.1:9999
ip:
port: 9999
logpath: /data/applogs/xxl-job/jobhandler
logretentiondays: 30
配置解释:
-
addresses:注册调度器地址
-
accessToken:与调度器关联的token
-
appname:执行器向调度器上注册时的名称
-
address:执行器注册ip和注册端口(有这个可以不设置下面的ip和port)优先使用该配置
-
ip:执行器的ip,默认为空,表示自动获取ip
-
port:执行器向调度器注册使用的端口
-
logpath:日志文件保存地址
-
logretentiondays:日志文件保存日期,如-1就是关闭自动清理功能
注意:
1. 这里配置的端口号是执行器向调度器注册用的端口号;也是调度器通过这个端口号与执行器进行通信,并发送任务调度指令和接收任务执行结果的端口号;默认是9999。这个端口号与执行器启动的端口号无关,执行器启动的端口号,执行为了接收浏览器页面发送的请求,调度器与执行器的通信与这个端口号无关。
2.这里的ip是执行器向调度器注册的ip,通常与执行器所在的ip一致,如果为空,那么就是默认自动获取执行器当前所在地址,也可手动指定,一般默认即可。
3、执行器中添加XXL-Job的配置类
创建一个config目录,然后创建一个XxlJobConfig类,并在类里面写入一下内容
@Configuration
public class XxlJobConfig {
@Value("${xxl.job.admin.addresses}")
private String adminAddresses;
@Value("${xxl.job.accessToken}")
private String accessToken;
@Value("${xxl.job.executor.appname}")
private String appname;
@Value("${xxl.job.executor.address}")
private String address;
@Value("${xxl.job.executor.ip}")
private String ip;
@Value("${xxl.job.executor.port}")
private int port;
@Value("${xxl.job.executor.logpath}")
private String logPath;
@Value("${xxl.job.executor.logretentiondays}")
private int logRetentionDays;
@Bean
public XxlJobSpringExecutor xxlJobExecutor() {
XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
xxlJobSpringExecutor.setAppname(appname);
xxlJobSpringExecutor.setAddress(address);
xxlJobSpringExecutor.setIp(ip);
xxlJobSpringExecutor.setPort(port);
xxlJobSpringExecutor.setAccessToken(accessToken);
xxlJobSpringExecutor.setLogPath(logPath);
xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
return xxlJobSpringExecutor;
}
}
解释:可以看到该类通过配置注解@Configuration,从而将该类交给了Spring管理。然后各个属性也对应着在配置文件中设置的内容,最后写一个方法,方法的返回值为XxlJobSpringExecutor,并通过@Bean注解将该方法的返回值对象注入到Spring的IOC容器当中。
4、 编写任务
添加任务处理类,交给Spring容器管理,在处理方法上加上**@XxlJob
注解**
@Component
public class SimpleXxlJob {
@XxlJob("demoJobHandler")
public void demoJobHandler(){
SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
System.out.println("执行定时任务,执行时间:"+simpleDateFormat.format(new Date()));
}
}
5、查看调度器页面上执行器的信息
通过上面的配置,并启动执行器之后,可以在调度器上面查看到执行器的信息。
(如果没有自动注册的执行器,别着急,下面有解决办法)
点击查看,可以查看到执行器注册的ip和端口
*5.1、没有自动注册的执行器解决办法
有可能调度器启动成功,执行器配置了调度器的信息并启动成功,但是查看调度器页面的时候是没有自动注册上来的执行器的情况。这个时候只需要手动注册即可。多地址的时候,逗号分隔即可。
手动注册也能达到一样的效果。
6、调度器页面添加执行任务(单节点执行器)
添加执行任务的时候分为BEAN类型和GLUE(Java)两种方式,但是设置这两个方式之前有一些公共操作,于是就将公共操作提取为了一个目录。注意:任务的类型选择完毕并保存之后是不能更改的。
6.1 公共操作
在调度器页面点击任务管理,然后进行新增
解释:
- 选择对应的执行器,可以是自动注册的,也可以是手动注册的
- 填写任务的描述
- 填写负责人
- 报警邮件选填
选择调度类型: - 选择无,那么该任务只能手动点击执行,不能启动。
- CRON,这里是通过CRON表达式进行周期性执行任务,在右侧Cron框中填写Cron表达式。
- 固定速度,在右侧填写数字,单位默认是秒,点击启动之后将按照这个固定的时候进行执行任务。
6.2 BEAN类型任务
前提:必须有@XxlJob
注解声明的任务方法,且该方法的所在类必须能注册为Spring的Bean
任务类型选择BEAN,在JobHandler中填写任务标识,**任务标识与执行器中编写的任务方法上添加的@XxlJob
注解中的值一致。**其余所有配置默认即可。
6.3 GLUE(Java)类型任务
场景:当系统已经上线,不能随便更改的时候,可以使用该类型进行触发某个任务。
使用:选择运行模式为GLUE(Java)即可,GLUE模式不依赖于JobHandler。
保存之后,可以看到添加的任务,点击操作箭头,选择GLUE IDE,就会进入脚本编辑页面。
就将这个脚本编辑页面看做是Java中的一个类即可,比如,现在想要调用Service中的一个方法,那么只需要在这个页面中注入对应的Service,并使用Service对象调用指定的方法即可。注意:这个页面不会提示只能手写,也不会自动导包,所需要的包,需要手动import。
编写好脚本之后,点击保存,会弹出填写备注的页面,这个和Git类似,可以进行版本回溯,这个地方就是填写每个版本的描述而已。直接点击版本回溯的版本,脚本内容回自动变化,再次保存即可完成脚本版本回溯。
6.4 启动任务
在任务管理页面可以看到已经保存的任务,点击操作箭头即可进行操作,点击执行一次,那么对应的任务就会在执行器上面执行一次,若点击启动,那么调度器就会按照设置好的周期或固定速度进行执行任务。注意:如果没有调度类型,那么就只能点击执行一次,无法使用启动功能。
还可以查看调度日志、注册节点、下次执行时间等信息。
7、调度器调度集群执行器
默认的调度策略是第一个,也就是只对一个服务进行调度,还可以选择其他的负载均衡策略。
当执行器集群部署时,提供丰富的路由策略,包括:
-
FIRST(第一个):固定选择第一个机器
-
LAST(最后一个):固定选择最后一个机器;
-
ROUND(轮询):依次的选择在线的机器发起调度
-
RANDOM(随机):随机选择在线的机器;
-
CONSISTENT_HASH(一致性HASH):
每个任务按照Hash算法固定选择某一台机器,且所有任务均匀散列在不同机器上。
-
LEAST_FREQUENTLY_USED(最不经常使用):使用频率最低的机器优先被选举;
-
LEAST_RECENTLY_USED(最近最久未使用):最久未使用的机器优先被选举;
-
FAILOVER(故障转移):按照顺序依次进行心跳检测,第一个心跳检测成功的机器选定为目标执行器并发起调度;
-
BUSYOVER(忙碌转移):按照顺序依次进行空闲检测,第一个空闲检测成功的机器选定为目标执行器并发起调度;
-
SHARDING_BROADCAST(分片广播):
广播触发对应集群中所有机器执行一次任务,同时系统自动传递分片参数;可根据分片参数开发分片任务;
7.1 分片广播
注意:路由策略必须选择分片广播
场景:比如现在有2000条数据,每一条数据的处理时间至少得10毫秒,在单机处理的时候就太慢了,于是使用集群处理。比如现在有n台操作机,那么可以通过XXL-Job的分片广播的路由策略进行执行任务。首先调度器会对所有的执行器发布执行任务的命令,同时系统自动传递分片参数,也就是广播。然后这个时候可以在任务中获取到分片参数,并根据分片参数进行开发。
获取分片参数方式:
// 可参考调度器源码Sample示例执行器中的示例任务"ShardingJobHandler"了解试用
int shardIndex = XxlJobHelper.getShardIndex();// 获取当前分片索引
int shardTotal = XxlJobHelper.getShardTotal();// 获取全部分片总数
通过这两个参数,我们可以通过求模取余的方式,分别查询,分别执行,这样的话就可以提高处理的速度。也就是查询数据库的时候,可以根据ID对分片总数进行取余(假设ID是数字并单调递增),判断余数是否等于当前分片索引,若等于当前分片索引,那么就由该分片进行处理。分片就是执行器。
例:
@Override
public void GLUEJob() {
int shardTotal = XxlJobHelper.getShardTotal();
int shardIndex = XxlJobHelper.getShardIndex();
List<UserMobilePlan> userMobilePlans = null;
if(shardTotal==1){
//如果没有分片就直接查询所有数据
//@Select("select * from t_user_mobile_plan")
userMobilePlans = userMobilePlanMapper.selectAll();
}else{
//对分片总数求余查询数据
//@Select("select * from t_user_mobile_plan where mod(id,#{shardingTotal})=#{shardingIndex}")
userMobilePlans = userMobilePlanMapper.selectByMod(shardIndex,shardTotal);
}
for (UserMobilePlan userMobilePlan : userMobilePlans) {
// 业务处理逻辑
}
}