引入第三方任务调度平台XXL-WORK
前言
我们模块中有个模块是专门同步原本的数据库到新库中的，本来写法是写个接口，然后手动调用，也有加了@Scheduled进行定时调度的。但是有这么一个问题，如果我突然想延迟某个任务的调度时间，某天不想执行任务，那么怎么办？我分布式的项目，这个任务只能一个服务跑，跑多了会出问题（比如同步记录，你多跑了数据库多了数据）。修改代码然后重新上线？肯定不行的，那么我们应该怎么解决这种问题呢。
关键词：动态任务调度
尝试一
本来想利用springboot的自带的ThreadPoolTaskScheduler的动态任务线程池，来动态管理任务。
https://www.cnblogs.com/mengq0815/p/10596073.html
https://www.cnblogs.com/laoyeye/p/9352002.html
https://blog.csdn.net/yuhui123999/article/details/93971752
https://www.xuxueli.com/xxl-job/
https://www.cnblogs.com/jiawen010/p/11790713.html
https://blog.csdn.net/qq_34125349/article/details/77430956
https://blog.csdn.net/qq_22845447/article/details/86773244
但是想了下，我们现在是分布式的系统，每个模块这么来一套？有问题，而且每个模块可能又多个不同端口的同一服务模块，怎么控制呢？于是就想去网上找下开源的分布式任务调度怎么解决的。
powerjob
首先搜到的是powerjob，比较新，也github下拉了demo，运行了下，也是比较轻松的，
https://www.yuque.com/powerjob/guidence/nyio9g
但是同事提了下xxl-worker，说这个比较老，久经考验。
据说，powjob自夸的是，powjob扩展性比xxlworker好，但是想想还是老的比较好。
xxl-work
这个是2014年的框架，用的人比较多的。应该是比较稳定的。
https://www.xuxueli.com/xxl-job/
官方中文文档。
demo
下载
git上拉下来，这里我get了个小技巧，你去git拉代码的话，往往因为没梯子，比较慢。
那这时候，可以利用gitee的来拉取git的代码，然后再下载git的代码。这样比较快。
观察
项目结构也比较简单，admin，core，sample。
根据官方demo，一步步走下来，也比较轻松能跑本地项目，但是问题是，如何引入我们的项目。
跑了demo可以知道大概的架构，admin是管理模块，而执行器则是我们需要在我们代码的改动的东西。
其实引入也比较简单，在需要定时任务的模块引入core模块就可以注册到admin中，后台就可以管理。
明显的cs架构，反正跟服务注册那套差不多，执行器注册到调度中心，调度中心能调用执行器执行调度请求
引入系统
目标
我们的目标，也就是引入xxl-admin，然后可以通过网关访问管理台，当做一个服务来用。
思路也很简单，新起一个模块，复制admin，作为调度中心，然后各个需要定时任务的服务作为执行器。
admin作为一个中间层的任务调度中心，
各个服务，(引入mavan)引入core模块，注册到admin。改动配置就好。
第一步，数据库的支持
数据库的支持，xxl-work的后台管理数据存储其实在新建的数据库中，所以先数据源执行sql，建库建表。当然你也可以不起新的库，放你项目库里就好，反正不过就是admin读取数据源改下而已。
第二步，admin的引入
将git拉的代码的admin引入服务，作为一个pom项目导入系统模块，其实就是复制粘贴在子模块中，然后父模块标识引入了子模块。
然后问题就比较多了。
主要还是依赖，我们可以想象一下，其实xxl-work的底层应该不是依赖spring的，所以其实他底层的依赖不是spring的一些（查看底层原理可以知道，其实是netty
,https://blog.51cto.com/janephp/2415218)https://www.zhihu.com/question/24322387/answer/282001188
观察下demo的admin的pom，可以知道，其实也就是引入springboot的框架，底层关键应该不是一些什么mysql，freemarker，sprinboot等。应该是core的核心包。
demo本来的版本管理都在相应的父模块中，他springboot的版本跟我项目的版本不一致，导致一些对应的starter启动类版本不一致，导致自动装配起不来。
我导入自己的模块中，我就改动pom的父模块，改成我的springboot版本。
这里有个问题，我下载的是最新的2.3版本。然后这里的core核心依赖是demo里core，做为个公共的jar包引入的，我本来以为xxl-job的core应该上传了maven respority。我就引入maven库的core，发现有个类没办法引入，查看git的历史版本，core的版本似乎没更新到最新，然后我又不想回退到用旧的版本。所以就把demo的core也引入模块，作为一个公共jar，然后admin引入本地就好了。
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>com.xy.ito</groupId>
<artifactId>ito-project</artifactId>
<version>1.0-SNAPSHOT</version>
</parent>
<artifactId>xxl-job-admin</artifactId>
<packaging>jar</packaging>
<dependencyManagement>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.1.8.RELEASE</version>
<type>pom</type>
<scope>import</scope>
</dependency>
</dependencies>
</dependencyManagement>
<dependencies>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
</dependency>
<!-- starter-web：spring-webmvc + autoconfigure + logback + yaml + tomcat -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<!-- starter-test：junit + spring-test + mockito -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
<!-- freemarker-starter -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-freemarker</artifactId>
</dependency>
<!-- mail-starter -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-mail</artifactId>
</dependency>
<!-- starter-actuator -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
<!-- mybatis-starter：mybatis + mybatis-spring + hikari（default） -->
<dependency>
<groupId>org.mybatis.spring.boot</groupId>
<artifactId>mybatis-spring-boot-starter</artifactId>
<version>2.1.3</version>
</dependency>
<!-- mysql -->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>8.0.22</version>
</dependency>
<!-- xxl-job-core -->
<dependency>
<groupId>com.xy.ito</groupId>
<artifactId>xxl-job-core</artifactId>
<version>1.0-SNAPSHOT</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
<version>2.1.8.RELEASE</version>
<executions>
<execution>
<goals>
<goal>repackage</goal>
</goals>
</execution>
</executions>
</plugin>
<!-- docker -->
<plugin>
<groupId>com.spotify</groupId>
<artifactId>docker-maven-plugin</artifactId>
<version>0.4.13</version>
<configuration>
<!-- made of '[a-z0-9-_.]' -->
<imageName>${project.artifactId}:${project.version}</imageName>
<dockerDirectory>${project.basedir}</dockerDirectory>
<resources>
<resource>
<targetPath>/</targetPath>
<directory>${project.build.directory}</directory>
<include>${project.build.finalName}.jar</include>
</resource>
</resources>
</configuration>
</plugin>
</plugins>
</build>
</project>
然后admin我想要的是注册到eureka，然后可以用zuul来调用，这里又有个坑，demo的springboot的版本是2.3.4.RELEASE，eureka是springcloud的组件，然后springboot和springcloud的有对应关系，如果对应关系错的话，会报一些错，自动装配失败。什么什么没找到的。导致我第一个思路错了，我本来想沿用我们本来其他子模块的pom，然后导入demo的其他依赖，导致各种报错，然后我尝试的用demo的pom，单纯的修改springboot的版本，引入springcloud的eureka的版本，顺利启动并注册到eureka了。
但是又有几个坑，虽然这个启动了，发现其他模块都启动失败了，我回退到之前的版本没问题，然后一步步加，发现父模块加入amin子模块就失败，然后发现好像是pom的里面配置还有版本不一致的问题，导致污染了其他的模块的springboot，所以保持一致后成功了。
admin的yml配置
### web
server.port=8080
server.servlet.context-path=/jobadmin
### actuator
management.server.servlet.context-path=/actuator
management.health.mail.enabled=false
### resources
spring.mvc.servlet.load-on-startup=0
spring.mvc.static-path-pattern=/static/**
spring.resources.static-locations=classpath:/static/
### freemarker
spring.freemarker.templateLoaderPath=classpath:/templates/
spring.freemarker.suffix=.ftl
spring.freemarker.charset=UTF-8
spring.freemarker.request-context-attribute=request
spring.freemarker.settings.number_format=0.##########
### mybatis
mybatis.mapper-locations=classpath:/mybatis-mapper/*Mapper.xml
#mybatis.type-aliases-package=com.xxl.job.admin.core.model
### xxl-job, datasource
spring.datasource.url=jdbc:mysql://192.168.0.206:3307/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=123456
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
### datasource-pool
spring.datasource.type=com.zaxxer.hikari.HikariDataSource
spring.datasource.hikari.minimum-idle=10
spring.datasource.hikari.maximum-pool-size=30
spring.datasource.hikari.auto-commit=true
spring.datasource.hikari.idle-timeout=30000
spring.datasource.hikari.pool-name=HikariCP
spring.datasource.hikari.max-lifetime=900000
spring.datasource.hikari.connection-timeout=10000
spring.datasource.hikari.connection-test-query=SELECT 1
spring.datasource.hikari.validation-timeout=1000
### xxl-job, email
spring.mail.host=smtp.qq.com
spring.mail.port=25
spring.mail.username=xxx@qq.com
spring.mail.from=xxx@qq.com
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory
### xxl-job, access token
xxl.job.accessToken=
### xxl-job, i18n (default is zh_CN, and you can choose "zh_CN", "zh_TC" and "en")
xxl.job.i18n=zh_CN
## xxl-job, triggerpool max size
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100
### xxl-job, log retention days
xxl.job.logretentiondays=30
eureka的配置
spring:
application:
name: job-admin-server
eureka:
instance:
hostname: localhost
appname: job-admin-server
instance-id: job-admin-server:${server.port}
prefer-ip-address: true
client:
service-url:
defaultZone: http://localhost:6001/eureka/
其他零散的问题，eureka的自动注册，mapper的扫描。反正就是简单的弄个调度服务中心，给各个服务注册的。
配置都有注释，只要能起来，基本没问题的
第三步，core的引入
这个最简单了，复制，父模块导入子模块，版本写好。打包，就是个工具类
第四步，jobhandler的引入
pom的导入
在需要引入的服务模块，导入core的jar，就导本地的那个core的jar。
<!-- xxl-job-core -->
<dependency>
<groupId>com.xy.ito</groupId>
<artifactId>xxl-job-core</artifactId>
<version>1.0-SNAPSHOT</version>
</dependency>
然后注册到调度中心
配置文件
# web port
server.port=8081
# no web
#spring.main.web-environment=false
# log config
logging.config=classpath:logback.xml
### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
### xxl-job, access token
xxl.job.accessToken=
### xxl-job executor appname
xxl.job.executor.appname=xxl-job-executor-sample
### xxl-job executor registry-address: default use address to registry , otherwise use ip:port if address is null
xxl.job.executor.address=
### xxl-job executor server-info
xxl.job.executor.ip=
xxl.job.executor.port=9996
### xxl-job executor log-path
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### xxl-job executor log-retention-days
xxl.job.executor.logretentiondays=30
注册的话，需要一个配置类。话说作者是不是写过starter，不然就不用这个配置类了，估计写了吧，我没找
config的bean配置
package com.xxl.job.executor.core.config;
import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
/**
* xxl-job config
*
* @author xuxueli 2017-04-28
*/
@Configuration
public class XxlJobConfig {
private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);
@Value("${xxl.job.admin.addresses}")
private String adminAddresses;
@Value("${xxl.job.accessToken}")
private String accessToken;
@Value("${xxl.job.executor.appname}")
private String appname;
@Value("${xxl.job.executor.address}")
private String address;
@Value("${xxl.job.executor.ip}")
private String ip;
@Value("${xxl.job.executor.port}")
private int port;
@Value("${xxl.job.executor.logpath}")
private String logPath;
@Value("${xxl.job.executor.logretentiondays}")
private int logRetentionDays;
@Bean
public XxlJobSpringExecutor xxlJobExecutor() {
logger.info(">>>>>>>>>>> xxl-job config init.");
XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
xxlJobSpringExecutor.setAppname(appname);
xxlJobSpringExecutor.setAddress(address);
xxlJobSpringExecutor.setIp(ip);
xxlJobSpringExecutor.setPort(port);
xxlJobSpringExecutor.setAccessToken(accessToken);
xxlJobSpringExecutor.setLogPath(logPath);
xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
return xxlJobSpringExecutor;
}
/**
* 针对多网卡、容器内部署等情况，可借助 "spring-cloud-commons" 提供的 "InetUtils" 组件灵活定制注册IP；
*
* 1、引入依赖：
* <dependency>
* <groupId>org.springframework.cloud</groupId>
* <artifactId>spring-cloud-commons</artifactId>
* <version>${version}</version>
* </dependency>
*
* 2、配置文件，或者容器启动变量
* spring.cloud.inetutils.preferred-networks: 'xxx.xxx.xxx.'
*
* 3、获取IP
* String ip_ = inetUtils.findFirstNonLoopbackHostInfo().getIpAddress();
*/
}
jobhandler的声明（bean模式下的）
@XxlJob("demoJobHandler")
@GetMapping("/f/test")
public Result test() throws InterruptedException {
System.out.println("测试");
return Result.ok();
}
小坑
2.3版本这里的执行器好像没有自动注册，要新增执行器，写你的执行器name，然后才能注册执行器成功。
然后记得的是，你的什么log日志没用的，要用那个XxlJobHelper打印日志。那你把log替换成这个就好
然后2.3和2.2版本的一个坑，任务参数，2.2版本的话是支持以方法参数接收入参的。
然而2.3版本不支持了，只能用XxlJobHelper来接收任务参数了。。。。。难受
zuul网关的配置
我们目的是能通过网关调用xxl-work的admin的管理页面。
我网关地址端口是1000
调度中心端口是8080
本地的话，访问路径是
http://localhost:8080/jobadmin/
css是
http://localhost:8080/jobadmin/static/adminlte/dist/css/skins/_all-skins.min.css
可以看出是路径+/static
路径配置是
admin的server.servlet.context-path=/jobadmin
我本来配置网关为
job-admin-server:
path: /job-admin/**
sensitiveHeaders: "*"
serviceId: job-admin-server
结果也很明显，
http://localhost:1000/job-admin/jobadmin才访问到首页，对应
http://localhost:8080/jobadmin/。
但是css都是失效的，然后css的访问路径是
http://localhost:1000/jobadmin/static/adminlte/dist/css/skins/_all-skins.min.css
明显少了前缀。（基本引入其他项目的页面都会css失效，原因也很简单，项目的路径对应不上，前端读取路径的时候，都是项目路径加css，但是你改成用
网关转发的话，你的项目路径对应不上的）
那么我就想了一个取巧的方法，
admin的server.servlet.context-path=/jobadmin的配置和zuul网关一致
job-admin-server:
stripPrefix: false
path: /jobadmin/**
sensitiveHeaders: "*"
serviceId: job-admin-server
stripPrefix: false是指网关的前缀转发的时候，是否去掉路径的配置，比如
true是
http://localhost:1000/job-admin/jobadmin ===》http://localhost:8000/jobadmin
false是
http://localhost:1000/job-admin/jobadmin ===》http://localhost:8000/job-admin/jobadmin
那么我们就能正常到首页和访问css了。
，项目的路径对应不上，前端读取路径的时候，都是项目路径加css，但是你改成用
网关转发的话，你的项目路径对应不上的）
那么我就想了一个取巧的方法，
admin的server.servlet.context-path=/jobadmin的配置和zuul网关一致
job-admin-server:
stripPrefix: false
path: /jobadmin/**
sensitiveHeaders: "*"
serviceId: job-admin-server
stripPrefix: false是指网关的前缀转发的时候，是否去掉路径的配置，比如
true是
http://localhost:1000/job-admin/jobadmin ===》http://localhost:8000/jobadmin
false是
http://localhost:1000/job-admin/jobadmin ===》http://localhost:8000/job-admin/jobadmin
那么我们就能正常到首页和访问css了。
948
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
