XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。
一、任务调度中心搭建
源码获取
从 Github 或 Gitee 官方仓库 fork到自己的仓库,拉取代码,进行改造。
我下载的版本为:2.3.0
源码结构如下:
● xxl-job-admin:调度中心:负责管理调度信息,按照调度配置发出调度请求;
● xxl-job-core:公共依赖;
● xxl-job-executor-samples:执行器Sample示例(选择合适的版本执行器,可直接使用,也可以参考其并将现有项目改造成执行器)。
○ xxl-job-executor-sample-springboot:Springboot版本,通过Springboot管理执行器,推荐这种方式;
○ xxl-job-executor-sample-frameless:无框架版本;
● doc/XXL-JOB官方文档.md:用户操作手册。
● doc/db/tables_xxl_job.sql:建表脚本。
所需环境
- Maven3+
- Jdk1.8+
- Mysql5.7+
1、执行数据库脚本
“调度数据库初始化SQL脚本” 的位置为:/xxl-job/doc/db/tables_xxl_job.sql
调度中心的数据库表说明如下:
● xxl_job_lock:任务调度锁表;
● xxl_job_group:执行器信息表,维护任务执行器信息;
● xxl_job_info:调度扩展信息表: 用于保存XXL-JOB调度任务的扩展信息,如任务分组、任务名、机器地址、执行器、执行入参和报警邮件等等;
● xxl_job_log:调度日志表: 用于保存XXL-JOB任务调度的历史信息,如调度结果、执行结果、调度入参、调度机器和执行器等等;
● xxl_job_log_report:调度日志报表:用户存储XXL-JOB任务调度日志的报表,调度中心报表功能页面会用到;
● xxl_job_logglue:任务GLUE日志:用于保存GLUE更新历史,用于支持GLUE的版本回溯功能;
● xxl_job_registry:执行器注册表,维护在线的执行器和调度中心机器地址信息;
● xxl_job_user:系统用户表;
调度中心支持集群部署,集群情况下各节点务必连接同一个mysql实例。如果mysql做主从,调度中心集群节点务必强制走主库。
2、修改xxl-job-admin配置
调度中心项目:xxl-job-admin
作用:统一管理任务调度平台上调度任务,负责触发调度执行,并且提供任务管理平台。
修改配置文件application.properties
### web
server.port=8080
# 前端访问时的url前缀
server.servlet.context-path=/xxl-job-admin
### 调度中心的数据库配置
spring.datasource.url=jdbc:mysql://localhost:3306/xxl_job?useUnicode=true&character_set_server=utf8mb4&useSSL=false&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=root
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
### 报警邮箱
spring.mail.host=smtp.qq.com
spring.mail.port=25
spring.mail.username=xxx@qq.com
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory
### 调度中心通讯TOKEN [选填]:非空时启用;
xxl.job.accessToken=
### 调度中心国际化配置 [必填]: 默认为 "zh_CN"/中文简体, 可选范围为 "zh_CN"/中文简体, "zh_TC"/中文繁体 and "en"/英文;
xxl.job.i18n=zh_CN
## 调度线程池最大线程配置【必填】
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100
### 调度中心日志表数据保存天数 [必填]:过期日志自动清理;限制大于等于7时生效,否则, 如-1,关闭自动清理功能;
xxl.job.logretentiondays=30
3、访问调度中心首页
启动项目之后,访问 http://localhost:8080/xxl-job-admin,账号/密码:admin/123456
登录后首页
二、项目中整合xxl-job
参考项目:https://gitee.com/someDr/task-xxl-job-demo.git
1、添加依赖
<!-- 与调度中心引入的xxl-job-core版本保持一致 -->
<dependency>
<groupId>com.xuxueli</groupId>
<artifactId>xxl-job-core</artifactId>
<version>${最新稳定版本}</version>
</dependency>
<!-- 我下载的调度中心版本为2.3.0,所以也是引入的2.3.0版本 -->
<dependency>
<groupId>com.xuxueli</groupId>
<artifactId>xxl-job-core</artifactId>
<version>2.3.0</version>
</dependency>
2、修改配置文件
# xxl-job配置
# 调度中心部署跟地址 [选填]:如调度中心集群部署存在多个地址则用逗号分隔。
# 执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调";为空则关闭自动注册;
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin/
# 执行器通讯token [选填]:非空时启用
# 调度中心和执行器,均不设置AccessToken,关闭安全性校验;调度中心和执行器,设置了相同的AccessToken
xxl.job.accessToken=
# 执行器名称AppName [选填]:执行器心跳注册分组依据;为空则关闭自动注册
xxl.job.executor.appname=task-xxl-job
# 执行器注册 [选填]:优先使用该配置作为注册地址,
# 为空时使用内嵌服务 ”IP:PORT“ 作为注册地址。从而更灵活的支持容器类型执行器动态IP和动态映射端口问题。
xxl.job.executor.address=
# 执行器IP [选填]:默认为空表示自动获取IP,多网卡时可手动设置指定IP,该IP不会绑定Host仅作为通讯实用;
# 地址信息用于 "执行器注册" 和 "调度中心请求并触发任务";
xxl.job.executor.ip=
# 执行器端口号 [选填]:小于等于0则自动获取;默认端口为9999,单机部署多个执行器时,注意要配置不同执行器端口;
xxl.job.executor.port=8888
# 执行器运行日志文件存储磁盘路径 [选填] :需要对该路径拥有读写权限;为空则使用默认路径;
xxl.job.executor.logpath=/data/task-xxl-job/logs
# 执行器日志文件保存天数 [选填]:过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能;
xxl.job.executor.logretentiondays=30
3、新建定时任务
这里采用的是Bean模式任务,支持基于方法的开发方式,每个任务对应一个方法。
● 优点:
○ 每个任务只需要开发一个方法,并添加”@XxlJob”注解即可,更加方便、快速。
○ 支持自动扫描任务并注入到执行器容器。
● 缺点:要求Spring容器环境;
基于方法开发的任务,底层会生成JobHandler代理,和基于类的方式一样,任务也会以JobHandler的形式存在于执行器任务容器中。
3.1、示例一:带初始化、销毁方法
@Component
public class XxlJobHandler {
private static final Logger logger = LoggerFactory.getLogger(XxlJobHandler.class);
@XxlJob(value = "helloJobHandler", init = "init", destroy = "destroy")
public void xxlJobHandler() {
XxlJobHelper.log("将日志上传到xxl-job调度中心");
logger.info("Hello xxl-job demo ..., {}", LocalDateTime.now());
}
public void init() {
logger.info("init");
}
public void destroy() {
logger.info("destroy");
}
}
3.2、示例二:获取任务执行参数
@Component
public class XxlJobHandler {
private static final Logger logger = LoggerFactory.getLogger(XxlJobHandler.class);
@XxlJob("myJobHandler")
public void myJobHandler() {
//获取参数
String param = XxlJobHelper.getJobParam();
logger.info("myJobHandler param is:{}", param);
if (StringUtils.isNotBlank(param)) {
XxlJobHelper.handleFail("参数错误, param:" + param);
return;
}
logger.info("myJobHandler is running at {}", LocalDateTime.now());
XxlJobHelper.handleSuccess("执行成功");
}
}
4、调度中心页面创建任务
4.1、创建任务执行器
4.2、创建任务
4.3、任务启动/停止
启动任务
执行一次/停止
日志输出:init 与 destroy 方法只会执行一次。
4.4、查看日志
第一种:直接在任务管理页面,选择任务进行查看。
第二种:在调度日志页面查看。
4.5、用户管理
进入 “用户管理” 界面,可查看和管理用户信息;
目前用户分为两种角色:
● 管理员:拥有全量权限,支持在线管理用户信息,为用户分配权限,权限分配粒度为执行器。
● 普通用户:仅拥有被分配权限的执行器,及相关任务的操作权限。
● 角色:普通用户只有执行任务的权限;
● 权限:分配了哪个执行器,用户只能看到哪个执行器下的任务;
三、调度中心集群部署
调度中心支持集群部署,提升调度系统容灾和可用性。
调度中心集群部署时,几点要求和建议:
● DB配置保持一致;
● 集群机器时钟保持一致(单机集群忽视);
● 建议:推荐通过nginx为调度中心集群做负载均衡,分配域名。调度中心访问、执行器回调配置、调用API服务等操作均通过该域名进行。
1、启动多个调度中心
一台服务器怎么模拟?
第一种方式:
在idea中启动了多个调度中心项目进行模拟,因为是同一台服务器,需要修改项目的启动端口。
修改项目的启动端口。
-Dserver.port=8081
第二种方式:
打成 jar包,通过命令启动多个调度中心项目进行模拟。
启动脚本:
nohup java -jar xxl-job-admin-2.3.0.jar --server.port=9601 > logs/xxl-job.log 2>&1 &
nohup java -jar xxl-job-admin-2.3.0.jar --server.port=9602 > logs/xxl-job2.log 2>&1 &
停止脚本:
#!/bin/sh
pid=`ps -ef | grep xxl-job-admin-2.3.0.jar | grep -v grep | awk '{print $2}'`
if [ ! -z "$pid" ]; then
kill -9 $pid
fi
2、使用nginx转发
安装nginx:可以从nginx官网下载适合您操作系统的版本,然后按照官方文档进行安装。
● 配置upstream:在nginx配置文件中,使用upstream指令定义xxl-job的多个实例。
● 配置location:在nginx配置文件中,使用location指令定义/xxl-job-admin的访问路径和代理规则。
upstream xxl-job {
server ip1:8080;
server ip2:8080;
server ip3:8080;
}
server {
listen 80;
server_name ip;
location /xxl-job-admin {
proxy_pass http://xxl-job;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
这里定义了访问路径为/xxl-job,代理规则为将请求转发到upstream中定义的xxl-job实例中,并设置一些请求头信息。
重启nginx服务后,访问http://ip/xxl-job-admin,即可跳转到xxl-job的登录页面。
四、任务项目集群部署
执行器支持集群部署,提升调度系统可用性,同时提升任务处理能力。
执行器集群部署时,几点要求和建议:
● 执行器回调地址(xxl.job.admin.addresses)需要保持一致;执行器根据该配置进行执行器自动注册等操作。
● 同一个执行器集群内AppName(xxl.job.executor.appname)需要保持一致;调度中心根据该配置动态发现不同集群的在线执行器列表。
1、修改配置文件
第一种(借助中间件):
官方建议:推荐通过nginx为调度中心集群做负载均衡,分配域名。调度中心访问、执行器回调配置、调用API服务等操作均通过该域名进行。
# nginx的代理地址
xxl.job.admin.addresses=http://ip:port/xxl-job-admin
第二种(直连调度中心应用):
也可以在配置文件中配置多个调度中心地址。
# xxl-job配置
# 调度中心集群部署存在多个地址则用逗号分隔。
xxl.job.admin.addresses=http://ip1:8080/xxl-job-admin,http://ip2:8080/xxl-job-admin,http://ip3:8080/xxl-job-admin
直接启动即可,支持灰度发布,当任务A正在运行期间,任务B发布后,会注册到调度中心,任务运行时会自动调用到该节点。
2、启动
一台服务器怎么模拟?
第一种方式:
在idea中启动了多个任务项目模拟,因为是同一台服务器,需要修改项目的启动端口、与执行器的端口。
修改项目的启动端口、与执行器的端口。
-Dserver.port=9004
-Dxxl.job.executor.port=8899
第二种方式:
打成 jar包,通过命令启动多个任务项目进行模拟。
nohup java -jar task-xxl-job-demo-1.0.0.jar --server.port=9001 --xxl.job.executor.port=8888 > logs/xxl-job1.log 2>&1 &
nohup java -jar task-xxl-job-demo-1.0.0.jar --server.port=9002 --xxl.job.executor.port=8887 > logs/xxl-job2.log 2>&1 &
nohup java -jar task-xxl-job-demo-1.0.0.jar --server.port=9002 --xxl.job.executor.port=8889 > logs/xxl-job3.log 2>&1 &