XXL-Job搭建（传统方式&Docker方式）与使用（Linux环境下）

最新推荐文章于 2024-06-04 15:50:59 发布

gb4215287

最新推荐文章于 2024-06-04 15:50:59 发布

阅读量584

点赞数 1

分类专栏： idea java 文章标签： docker linux 容器

java 同时被 2 个专栏收录

890 篇文章 17 订阅

订阅专栏

idea

55 篇文章 3 订阅

订阅专栏

正文

一、XXL-job介绍

传统的定时任务一般可以通过多线程、timetask、线程池、springboot注解、quartz等方式实现。但是一般的定时任务存在一些缺陷，例如集群部署条件下的幂等性问题，跑批问题、消耗CPU等。也许幂等问题可以通过数据库主键或者分布式锁实现，但是如果需要跑批大量的数据几百万几千万的数据时怎么处理呢？

XXL-JOB是一个分布式任务调度平台，支持可视化管理界面。分布式任务调度平台XXL-JOB

二、原理分析

XXL-Job由以下两部分组成

调度模块（调度中心）：

负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码。调度系统与任务解耦，提高了系统可用性和稳定性，同时调度系统性能不再受限于任务模块；

支持可视化、简单且动态的管理调度信息，包括任务新建，更新，删除，GLUE开发和任务报警等，所有上述操作都会实时生效，同时支持监控调度结果以及执行日志，支持执行器Failover。

执行模块（执行器）：

负责接收调度请求并执行任务逻辑。任务模块专注于任务的执行等操作，开发和维护更加简单和高效；

接收“调度中心”的执行请求、终止请求和日志请求等。

1、当执行器（定时任务job）启动的时候会将他的IP和端口号信息注册到执行器注册中上(调度中心）。

2、当我们现在定时任务模块中启动定时任务的时候，定时任务会通过调度中心获取到执行器的列表，然后通过算法（轮询、一致hash、单个等）执行相应的执行器业务。

三、搭建框架

1、下载源码 http://gitee.com/xuxueli0323/xxl-job

2、生成db

#
# XXL-JOB v2.3.0
# Copyright (c) 2015-present, xuxueli.
 
CREATE database if NOT EXISTS `xxl_job` default character set utf8mb4 collate utf8mb4_unicode_ci;
use `xxl_job`;
 
SET NAMES utf8mb4;
 
CREATE TABLE `xxl_job_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `job_group` int(11) NOT NULL COMMENT '执行器主键ID',
  `job_desc` varchar(255) NOT NULL,
  `add_time` datetime DEFAULT NULL,
  `update_time` datetime DEFAULT NULL,
  `author` varchar(64) DEFAULT NULL COMMENT '作者',
  `alarm_email` varchar(255) DEFAULT NULL COMMENT '报警邮件',
  `schedule_type` varchar(50) NOT NULL DEFAULT 'NONE' COMMENT '调度类型',
  `schedule_conf` varchar(128) DEFAULT NULL COMMENT '调度配置，值含义取决于调度类型',
  `misfire_strategy` varchar(50) NOT NULL DEFAULT 'DO_NOTHING' COMMENT '调度过期策略',
  `executor_route_strategy` varchar(50) DEFAULT NULL COMMENT '执行器路由策略',
  `executor_handler` varchar(255) DEFAULT NULL COMMENT '执行器任务handler',
  `executor_param` varchar(512) DEFAULT NULL COMMENT '执行器任务参数',
  `executor_block_strategy` varchar(50) DEFAULT NULL COMMENT '阻塞处理策略',
  `executor_timeout` int(11) NOT NULL DEFAULT '0' COMMENT '任务执行超时时间，单位秒',
  `executor_fail_retry_count` int(11) NOT NULL DEFAULT '0' COMMENT '失败重试次数',
  `glue_type` varchar(50) NOT NULL COMMENT 'GLUE类型',
  `glue_source` mediumtext COMMENT 'GLUE源代码',
  `glue_remark` varchar(128) DEFAULT NULL COMMENT 'GLUE备注',
  `glue_updatetime` datetime DEFAULT NULL COMMENT 'GLUE更新时间',
  `child_jobid` varchar(255) DEFAULT NULL COMMENT '子任务ID，多个逗号分隔',
  `trigger_status` tinyint(4) NOT NULL DEFAULT '0' COMMENT '调度状态：0-停止，1-运行',
  `trigger_last_time` bigint(13) NOT NULL DEFAULT '0' COMMENT '上次调度时间',
  `trigger_next_time` bigint(13) NOT NULL DEFAULT '0' COMMENT '下次调度时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
 
CREATE TABLE `xxl_job_log` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `job_group` int(11) NOT NULL COMMENT '执行器主键ID',
  `job_id` int(11) NOT NULL COMMENT '任务，主键ID',
  `executor_address` varchar(255) DEFAULT NULL COMMENT '执行器地址，本次执行的地址',
  `executor_handler` varchar(255) DEFAULT NULL COMMENT '执行器任务handler',
  `executor_param` varchar(512) DEFAULT NULL COMMENT '执行器任务参数',
  `executor_sharding_param` varchar(20) DEFAULT NULL COMMENT '执行器任务分片参数，格式如 1/2',
  `executor_fail_retry_count` int(11) NOT NULL DEFAULT '0' COMMENT '失败重试次数',
  `trigger_time` datetime DEFAULT NULL COMMENT '调度-时间',
  `trigger_code` int(11) NOT NULL COMMENT '调度-结果',
  `trigger_msg` text COMMENT '调度-日志',
  `handle_time` datetime DEFAULT NULL COMMENT '执行-时间',
  `handle_code` int(11) NOT NULL COMMENT '执行-状态',
  `handle_msg` text COMMENT '执行-日志',
  `alarm_status` tinyint(4) NOT NULL DEFAULT '0' COMMENT '告警状态：0-默认、1-无需告警、2-告警成功、3-告警失败',
  PRIMARY KEY (`id`),
  KEY `I_trigger_time` (`trigger_time`),
  KEY `I_handle_code` (`handle_code`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
 
CREATE TABLE `xxl_job_log_report` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `trigger_day` datetime DEFAULT NULL COMMENT '调度-时间',
  `running_count` int(11) NOT NULL DEFAULT '0' COMMENT '运行中-日志数量',
  `suc_count` int(11) NOT NULL DEFAULT '0' COMMENT '执行成功-日志数量',
  `fail_count` int(11) NOT NULL DEFAULT '0' COMMENT '执行失败-日志数量',
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `i_trigger_day` (`trigger_day`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
 
CREATE TABLE `xxl_job_logglue` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `job_id` int(11) NOT NULL COMMENT '任务，主键ID',
  `glue_type` varchar(50) DEFAULT NULL COMMENT 'GLUE类型',
  `glue_source` mediumtext COMMENT 'GLUE源代码',
  `glue_remark` varchar(128) NOT NULL COMMENT 'GLUE备注',
  `add_time` datetime DEFAULT NULL,
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
 
CREATE TABLE `xxl_job_registry` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `registry_group` varchar(50) NOT NULL,
  `registry_key` varchar(255) NOT NULL,
  `registry_value` varchar(255) NOT NULL,
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `i_g_k_v` (`registry_group`,`registry_key`,`registry_value`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
 
CREATE TABLE `xxl_job_group` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `app_name` varchar(64) NOT NULL COMMENT '执行器AppName',
  `title` varchar(12) NOT NULL COMMENT '执行器名称',
  `address_type` tinyint(4) NOT NULL DEFAULT '0' COMMENT '执行器地址类型：0=自动注册、1=手动录入',
  `address_list` text COMMENT '执行器地址列表，多地址逗号分隔',
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
 
CREATE TABLE `xxl_job_user` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `username` varchar(50) NOT NULL COMMENT '账号',
  `password` varchar(50) NOT NULL COMMENT '密码',
  `role` tinyint(4) NOT NULL COMMENT '角色：0-普通用户、1-管理员',
  `permission` varchar(255) DEFAULT NULL COMMENT '权限：执行器ID列表，多个逗号分割',
  PRIMARY KEY (`id`),
  UNIQUE KEY `i_username` (`username`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
 
CREATE TABLE `xxl_job_lock` (
  `lock_name` varchar(50) NOT NULL COMMENT '锁名称',
  PRIMARY KEY (`lock_name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
 
INSERT INTO `xxl_job_group`(`id`, `app_name`, `title`, `address_type`, `address_list`, `update_time`) VALUES (1, 'xxl-job-executor-sample', '示例执行器', 0, NULL, '2018-11-03 22:21:31' );
INSERT INTO `xxl_job_info`(`id`, `job_group`, `job_desc`, `add_time`, `update_time`, `author`, `alarm_email`, `schedule_type`, `schedule_conf`, `misfire_strategy`, `executor_route_strategy`, `executor_handler`, `executor_param`, `executor_block_strategy`, `executor_timeout`, `executor_fail_retry_count`, `glue_type`, `glue_source`, `glue_remark`, `glue_updatetime`, `child_jobid`) VALUES (1, 1, '测试任务1', '2018-11-03 22:21:31', '2018-11-03 22:21:31', 'XXL', '', 'CRON', '0 0 0 * * ? *', 'DO_NOTHING', 'FIRST', 'demoJobHandler', '', 'SERIAL_EXECUTION', 0, 0, 'BEAN', '', 'GLUE代码初始化', '2018-11-03 22:21:31', '');
INSERT INTO `xxl_job_user`(`id`, `username`, `password`, `role`, `permission`) VALUES (1, 'admin', 'e10adc3949ba59abbe56e057f20f883e', 1, NULL);
INSERT INTO `xxl_job_lock` ( `lock_name`) VALUES ( 'schedule_lock');
 
commit;

3、修改xxl-job-admin项目配置文件

#修改为自己的数据库
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=root
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver

4、启动xxl-job-admin项目输入地址127.0.0.1:8080//xxl-job-admin

账号/密码：admin/123456

5、新增执行器

通过appname自动注册，一定要和配置文件中的appname一致

6、添加任务

jobhandler要和代码注解中的一致。然后选择cron启动项目即可

四、Docker方式构建

1、拉取镜像

[root@localhost ~]# docker pull xuxueli/xxl-job-admin:2.3.0

2、创建数据库

注意：我的数据库是为了xxl-job测试用的，实际生产请不要这样

1. docker pull mysql
2. docker run -d  --name mysql -e MYSQL_ROOT_PASSWORD=root -p 3306:3306 mysql

3、创建xxl-job容器并启动

docker run -d -p 8080:8080  \
 -e PARAMS="--spring.datasource.url=jdbc:mysql://192.168.6.145:3306/xxl_job? 
 useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai -- 
 spring.datasource.username=root --spring.datasource.password=root" \
 -v /tmp:/data/applogs --name xxl-job-admin  \
 xuxueli/xxl-job-admin:2.3.0

4、自定义镜像创建容器

修改配置文件为自己的数据库，然后打包上传到服务器

spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=root
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver

创建文件 mkdir -p /opt/xxl-job

并在 /opt/xxl-job 目录下创建Dockerfile文件 vi Dockerfile

FROM openjdk:8-jre-slim
 
ENV PARAMS=""
 
ENV TZ=PRC
RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone
 
ADD xxl-job-admin-*.jar /app.jar
 
###配置容器启动后执行的命令
 
ENTRYPOINT ["sh","-c","java -jar $JAVA_OPTS /app.jar $PARAMS"]

mvn clean packge 打包之后上传至 /opt/xxl-job 目录

构建镜像，注意后面的点别丢了

docker build -t xxl-job-admin:2.4.0 .

启动自定义的镜像

docker run --name xxl-job -p  8090:8080 -d xxl-job-admin:2.4.0

五、整合Springboot

1、添加maven依赖

    <dependencies>
            <!-- xxl-job-core -->
        <dependency>
            <groupId>com.xuxueli</groupId>
            <artifactId>xxl-job-core</artifactId>
            <version>2.3.0</version>
        </dependency>
    </dependencies>

2、配置文件

# web port
server.port=8083
# no web
#spring.main.web-environment=false
# log config
logging.config=classpath:logback.xml
### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
#填写你自己的xxl-job-admin项目
xxl.job.admin.addresses=http://192.168.6.145:8080/xxl-job-admin
 
### xxl-job, access token
xxl.job.accessToken=
 
### xxl-job executor appname
#与新增的执行器名称一致
xxl.job.executor.appname=xiaojie-job
### xxl-job executor registry-address: default use address to registry , otherwise use ip:port if address is null
xxl.job.executor.address=
### xxl-job executor server-info
#我写的内网地址
xxl.job.executor.ip=192.168.6.1
xxl.job.executor.port=9997
### xxl-job executor log-path
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### xxl-job executor log-retention-days
#日志保留天数
xxl.job.executor.logretentiondays=30

3、定时器代码

@XxlJob("demoJobHandler")
    public void demoJobHandler() throws Exception {
        logger.info(">>>>>>>>>>>>>>>>>>>>>>"+Thread.currentThread().getName());
    }

六、集群分片

当有一个需求，需要给100万个用户发送定时推送时如何处理，此时我们就用分片处理，将xxl-job集群部署，根据分片发送数据。

执行器（定时任务）	发送数据
分片0	1-30万
分片1	30万-60万
分片2	60万-100万

 @XxlJob("shardingJobHandler")
    public void shardingJobHandler() throws Exception {
        // 分片参数
        int shardIndex = XxlJobHelper.getShardIndex();
        int shardTotal = XxlJobHelper.getShardTotal();
        logger.info("总分片数是>>>>>>>>>>>>>>>{},当前分片是>>>>>>>>>>>>>>>>>>>>{}", shardTotal, shardIndex);
        if (ShardEnum.ONE.getShardNum() == shardIndex) {
            logger.info("this is first shard >>>>>>>>>>>>>>>>执行数据id：1-100000");
        } else if (ShardEnum.TWO.getShardNum() == shardIndex) {
            logger.info("this is second shard >>>>>>>>>>>>>>>执行数据id：100000-200000");
        } else {
            logger.info("this is second shard >>>>>>>>>>>>>>>执行数据id：200000-300000");
        }
    }

完整代码：spring-boot: Springboot整合redis、消息中间件等相关代码

参考：分布式任务调度平台XXL-JOB