XXL-JOB

最新推荐文章于 2024-05-21 19:02:28 发布

蔡文姬的cai

最新推荐文章于 2024-05-21 19:02:28 发布

阅读量136

点赞数

文章标签：分布式中间件后端 java

本文链接：https://blog.csdn.net/weixin_44755986/article/details/131849430

版权

XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。

一、任务调度中心搭建

源码获取

从 Github 或 Gitee 官方仓库 fork到自己的仓库，拉取代码，进行改造。
我下载的版本为：2.3.0
源码结构如下：
● xxl-job-admin：调度中心：负责管理调度信息，按照调度配置发出调度请求；
● xxl-job-core：公共依赖；
● xxl-job-executor-samples：执行器Sample示例（选择合适的版本执行器，可直接使用，也可以参考其并将现有项目改造成执行器）。
○ xxl-job-executor-sample-springboot：Springboot版本，通过Springboot管理执行器，推荐这种方式；
○ xxl-job-executor-sample-frameless：无框架版本；
● doc/XXL-JOB官方文档.md：用户操作手册。
● doc/db/tables_xxl_job.sql：建表脚本。

所需环境

Maven3+
Jdk1.8+
Mysql5.7+

1、执行数据库脚本

“调度数据库初始化SQL脚本” 的位置为：/xxl-job/doc/db/tables_xxl_job.sql
调度中心的数据库表说明如下：
● xxl_job_lock：任务调度锁表；
● xxl_job_group：执行器信息表，维护任务执行器信息；
● xxl_job_info：调度扩展信息表：用于保存XXL-JOB调度任务的扩展信息，如任务分组、任务名、机器地址、执行器、执行入参和报警邮件等等；
● xxl_job_log：调度日志表：用于保存XXL-JOB任务调度的历史信息，如调度结果、执行结果、调度入参、调度机器和执行器等等；
● xxl_job_log_report：调度日志报表：用户存储XXL-JOB任务调度日志的报表，调度中心报表功能页面会用到；
● xxl_job_logglue：任务GLUE日志：用于保存GLUE更新历史，用于支持GLUE的版本回溯功能；
● xxl_job_registry：执行器注册表，维护在线的执行器和调度中心机器地址信息；
● xxl_job_user：系统用户表；
调度中心支持集群部署，集群情况下各节点务必连接同一个mysql实例。如果mysql做主从,调度中心集群节点务必强制走主库。

2、修改xxl-job-admin配置

调度中心项目：xxl-job-admin
作用：统一管理任务调度平台上调度任务，负责触发调度执行，并且提供任务管理平台。
修改配置文件application.properties

### web
server.port=8080
# 前端访问时的url前缀
server.servlet.context-path=/xxl-job-admin

### 调度中心的数据库配置
spring.datasource.url=jdbc:mysql://localhost:3306/xxl_job?useUnicode=true&character_set_server=utf8mb4&useSSL=false&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=root
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver

### 报警邮箱
spring.mail.host=smtp.qq.com
spring.mail.port=25
spring.mail.username=xxx@qq.com
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory

### 调度中心通讯TOKEN [选填]：非空时启用；
xxl.job.accessToken=

### 调度中心国际化配置 [必填]： 默认为 "zh_CN"/中文简体, 可选范围为 "zh_CN"/中文简体, "zh_TC"/中文繁体 and "en"/英文；
xxl.job.i18n=zh_CN

## 调度线程池最大线程配置【必填】
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100

### 调度中心日志表数据保存天数 [必填]：过期日志自动清理；限制大于等于7时生效，否则, 如-1，关闭自动清理功能；
xxl.job.logretentiondays=30

3、访问调度中心首页

启动项目之后，访问 http://localhost:8080/xxl-job-admin，账号/密码：admin/123456
在这里插入图片描述
登录后首页

二、项目中整合xxl-job

参考项目：https://gitee.com/someDr/task-xxl-job-demo.git

1、添加依赖

<!-- 与调度中心引入的xxl-job-core版本保持一致 -->
<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
    <version>${最新稳定版本}</version>
</dependency>

<!-- 我下载的调度中心版本为2.3.0，所以也是引入的2.3.0版本 -->
<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
    <version>2.3.0</version>
</dependency>

2、修改配置文件

# xxl-job配置
# 调度中心部署跟地址 [选填]：如调度中心集群部署存在多个地址则用逗号分隔。
# 执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"；为空则关闭自动注册；
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin/
# 执行器通讯token [选填]：非空时启用
# 调度中心和执行器，均不设置AccessToken，关闭安全性校验；调度中心和执行器，设置了相同的AccessToken
xxl.job.accessToken=

# 执行器名称AppName [选填]：执行器心跳注册分组依据；为空则关闭自动注册
xxl.job.executor.appname=task-xxl-job
# 执行器注册 [选填]：优先使用该配置作为注册地址，
# 为空时使用内嵌服务 ”IP:PORT“ 作为注册地址。从而更灵活的支持容器类型执行器动态IP和动态映射端口问题。
xxl.job.executor.address=
# 执行器IP [选填]：默认为空表示自动获取IP，多网卡时可手动设置指定IP，该IP不会绑定Host仅作为通讯实用；
# 地址信息用于 "执行器注册" 和 "调度中心请求并触发任务"；
xxl.job.executor.ip=
# 执行器端口号 [选填]：小于等于0则自动获取；默认端口为9999，单机部署多个执行器时，注意要配置不同执行器端口；
xxl.job.executor.port=8888
# 执行器运行日志文件存储磁盘路径 [选填] ：需要对该路径拥有读写权限；为空则使用默认路径；
xxl.job.executor.logpath=/data/task-xxl-job/logs
# 执行器日志文件保存天数 [选填]：过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能；
xxl.job.executor.logretentiondays=30

3、新建定时任务

这里采用的是Bean模式任务，支持基于方法的开发方式，每个任务对应一个方法。
● 优点：
○ 每个任务只需要开发一个方法，并添加”@XxlJob”注解即可，更加方便、快速。
○ 支持自动扫描任务并注入到执行器容器。
● 缺点：要求Spring容器环境；
基于方法开发的任务，底层会生成JobHandler代理，和基于类的方式一样，任务也会以JobHandler的形式存在于执行器任务容器中。

3.1、示例一：带初始化、销毁方法

@Component
public class XxlJobHandler {
    private static final Logger logger = LoggerFactory.getLogger(XxlJobHandler.class);

    @XxlJob(value = "helloJobHandler", init = "init", destroy = "destroy")
    public void xxlJobHandler() {
        XxlJobHelper.log("将日志上传到xxl-job调度中心");
        logger.info("Hello xxl-job demo ..., {}", LocalDateTime.now());
    }

    public void init() {
        logger.info("init");
    }

    public void destroy() {
        logger.info("destroy");
    }
}

3.2、示例二：获取任务执行参数

@Component
public class XxlJobHandler {
    private static final Logger logger = LoggerFactory.getLogger(XxlJobHandler.class);

    @XxlJob("myJobHandler")
    public void myJobHandler() {
        //获取参数
        String param = XxlJobHelper.getJobParam();
        logger.info("myJobHandler param is:{}", param);
        if (StringUtils.isNotBlank(param)) {
            XxlJobHelper.handleFail("参数错误, param:" + param);
            return;
        }
        logger.info("myJobHandler is running at {}", LocalDateTime.now());
        XxlJobHelper.handleSuccess("执行成功");
    }
}

4、调度中心页面创建任务

4.1、创建任务执行器

在这里插入图片描述

4.2、创建任务

在这里插入图片描述

4.3、任务启动/停止

启动任务
在这里插入图片描述
执行一次/停止

日志输出：init 与 destroy 方法只会执行一次。

4.4、查看日志

第一种：直接在任务管理页面，选择任务进行查看。
在这里插入图片描述
第二种：在调度日志页面查看。

4.5、用户管理

进入 “用户管理” 界面，可查看和管理用户信息；
目前用户分为两种角色：
● 管理员：拥有全量权限，支持在线管理用户信息，为用户分配权限，权限分配粒度为执行器。
● 普通用户：仅拥有被分配权限的执行器，及相关任务的操作权限。
在这里插入图片描述

● 角色：普通用户只有执行任务的权限；
● 权限：分配了哪个执行器，用户只能看到哪个执行器下的任务；

三、调度中心集群部署

调度中心支持集群部署，提升调度系统容灾和可用性。
调度中心集群部署时，几点要求和建议：
● DB配置保持一致；
● 集群机器时钟保持一致（单机集群忽视）；
● 建议：推荐通过nginx为调度中心集群做负载均衡，分配域名。调度中心访问、执行器回调配置、调用API服务等操作均通过该域名进行。

1、启动多个调度中心

一台服务器怎么模拟？
第一种方式：
在idea中启动了多个调度中心项目进行模拟，因为是同一台服务器，需要修改项目的启动端口。
在这里插入图片描述
修改项目的启动端口。

-Dserver.port=8081

第二种方式：
打成 jar包，通过命令启动多个调度中心项目进行模拟。
启动脚本：

nohup java -jar xxl-job-admin-2.3.0.jar --server.port=9601 > logs/xxl-job.log 2>&1 &
nohup java -jar xxl-job-admin-2.3.0.jar --server.port=9602 > logs/xxl-job2.log 2>&1 &

停止脚本：

#!/bin/sh
pid=`ps -ef | grep xxl-job-admin-2.3.0.jar | grep -v grep | awk '{print $2}'`
if [ ! -z "$pid" ]; then
    kill -9 $pid
fi

2、使用nginx转发

安装nginx：可以从nginx官网下载适合您操作系统的版本，然后按照官方文档进行安装。
● 配置upstream：在nginx配置文件中，使用upstream指令定义xxl-job的多个实例。
● 配置location：在nginx配置文件中，使用location指令定义/xxl-job-admin的访问路径和代理规则。

upstream xxl-job {
    server ip1:8080;
    server ip2:8080;
    server ip3:8080;
}

server {
    listen       80;
    server_name  ip;
    
    location /xxl-job-admin {
        proxy_pass http://xxl-job;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  	}
}

这里定义了访问路径为/xxl-job，代理规则为将请求转发到upstream中定义的xxl-job实例中，并设置一些请求头信息。
重启nginx服务后，访问http://ip/xxl-job-admin，即可跳转到xxl-job的登录页面。

四、任务项目集群部署

执行器支持集群部署，提升调度系统可用性，同时提升任务处理能力。
执行器集群部署时，几点要求和建议：
● 执行器回调地址（xxl.job.admin.addresses）需要保持一致；执行器根据该配置进行执行器自动注册等操作。
● 同一个执行器集群内AppName（xxl.job.executor.appname）需要保持一致；调度中心根据该配置动态发现不同集群的在线执行器列表。

1、修改配置文件

第一种（借助中间件）：
官方建议：推荐通过nginx为调度中心集群做负载均衡，分配域名。调度中心访问、执行器回调配置、调用API服务等操作均通过该域名进行。

# nginx的代理地址
xxl.job.admin.addresses=http://ip:port/xxl-job-admin

第二种（直连调度中心应用）：
也可以在配置文件中配置多个调度中心地址。

# xxl-job配置
# 调度中心集群部署存在多个地址则用逗号分隔。
xxl.job.admin.addresses=http://ip1:8080/xxl-job-admin,http://ip2:8080/xxl-job-admin,http://ip3:8080/xxl-job-admin

直接启动即可，支持灰度发布，当任务A正在运行期间，任务B发布后，会注册到调度中心，任务运行时会自动调用到该节点。

2、启动

一台服务器怎么模拟？
第一种方式：
在idea中启动了多个任务项目模拟，因为是同一台服务器，需要修改项目的启动端口、与执行器的端口。
在这里插入图片描述
修改项目的启动端口、与执行器的端口。

-Dserver.port=9004
-Dxxl.job.executor.port=8899

第二种方式：
打成 jar包，通过命令启动多个任务项目进行模拟。

nohup java -jar task-xxl-job-demo-1.0.0.jar --server.port=9001 --xxl.job.executor.port=8888 > logs/xxl-job1.log 2>&1 &
nohup java -jar task-xxl-job-demo-1.0.0.jar --server.port=9002 --xxl.job.executor.port=8887 > logs/xxl-job2.log 2>&1 &
nohup java -jar task-xxl-job-demo-1.0.0.jar --server.port=9002 --xxl.job.executor.port=8889 > logs/xxl-job3.log 2>&1 &