分布式任务调度平台Xxl-Job
一、原生定时任务框架缺陷
- 不支持集群:为避免任务重复执行的问题
- 不支持生命周期统一管理：不重启服务情况下关闭、启动任务
- 不支持分片任务：处理有序数据时，多机器分片执行处理不同数据
- 不支持失败重试：出现异常后任务终结，不能根据执行状态控制任务重新执行
- 不支持动态调整：不重启服务下修改任务参数
- 无报警机制：任务失败后没有报警机智
- 任务数据统计难以统计：任务数据量大时，对于任务执行情况无法高效的统计执行情况
以上缺陷xxl-job全都解决
二、xxl-job项目结构说明
1.拉取代码
git clone https://gitee.com/xuxueli0323/xxl-job.git
2.初始化xxl-job的数据库：脚本路径
/xxl-job/doc/db/tables_xxl_job.sql
3.项目结构
xxl-job-admin：调度中心(可集群部署)
xxl-job-core：公共依赖(调度中心和执行器executor需要的公共依赖)
xxl-job-executor-samples：执行器Sample示例（选择合适的版本执行器，可直接使用，也可以参考其并将现有项目改造成执行器）
：xxl-job-executor-sample-springboot：Springboot版本，通过Springboot管理执行器，推荐这种方式；
下面的可都不看,看springboot版的即可。
：xxl-job-executor-sample-spring：Spring版本，通过Spring容器管理执行器，比较通用；
：xxl-job-executor-sample-frameless：无框架版本；
：xxl-job-executor-sample-jfinal：JFinal版本，通过JFinal管理执行器；
：xxl-job-executor-sample-nutz：Nutz版本，通过Nutz管理执行器；
：xxl-job-executor-sample-jboot：jboot版本，通过jboot管理执行器；
三、调度中心(xxl-job-admin)配置
- 调度中心支持集群部署，集群情况下各节点务必连接同一个mysql实例（暂不演示）
1.数据源datasource
2.email：注意password不是对应邮箱密码，而是授权码（QQ邮箱为例：邮箱中设置->账户->生成授权码）
email的作用：报警机制–执行失败后通知对应的执行器的管理者
如下：accessToken可不要，若admin中的accessToken存在，则其他执行器（项目）也要保持和admin中accessToken一致
### web
server.port=8080
server.servlet.context-path=/xxl-job-admin
### actuator
management.server.base-path=/actuator
#management.health.mail.enabled=false
management.health.mail.enabled=true
### resources
spring.mvc.servlet.load-on-startup=0
spring.mvc.static-path-pattern=/static/**
spring.web.resources.static-locations=classpath:/static/
### freemarker
spring.freemarker.templateLoaderPath=classpath:/templates/
spring.freemarker.suffix=.ftl
spring.freemarker.charset=UTF-8
spring.freemarker.request-context-attribute=request
spring.freemarker.settings.number_format=0.##########
### mybatis
mybatis.mapper-locations=classpath:/mybatis-mapper/*Mapper.xml
#mybatis.type-aliases-package=com.xxl.job.admin.core.model
### xxl-job, datasource
#spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=835677
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
### datasource-pool
spring.datasource.type=com.zaxxer.hikari.HikariDataSource
spring.datasource.hikari.minimum-idle=10
spring.datasource.hikari.maximum-pool-size=30
spring.datasource.hikari.auto-commit=true
spring.datasource.hikari.idle-timeout=30000
spring.datasource.hikari.pool-name=HikariCP
spring.datasource.hikari.max-lifetime=900000
spring.datasource.hikari.connection-timeout=10000
spring.datasource.hikari.connection-test-query=SELECT 1
spring.datasource.hikari.validation-timeout=1000
### xxl-job, email
spring.mail.host=smtp.qq.com
spring.mail.port=25
spring.mail.username=xx@qq.com
spring.mail.from=xx@qq.com
### 不是QQ密码，而是邮箱的授权码
spring.mail.password=邮箱授权码
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory
### xxl-job, access token
xxl.job.accessToken=default_token
### xxl-job, i18n (default is zh_CN, and you can choose "zh_CN", "zh_TC" and "en")
### 国际化i18n:internationalization(首末字符i和n，18为中间的字符数)
xxl.job.i18n=zh_CN
## xxl-job, trigger pool max size
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100
### xxl-job, log retention days
xxl.job.logretentiondays=30
5.启动admin调度中心（控制台）
http://127.0.0.1:8080/xxl-job-admin
默认账户/密码：admin/123456
四、执行器(executor)配置
1.执行器pom.xml中引入xxl-job-core（保持和xxl-job-admin的版本一致）
2.properties配置文件及说明
# web port
server.port=9001
# no web
#spring.main.web-environment=false
# log config
logging.config=classpath:logback.xml
### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
#调度中心部署跟地址 [选填]：如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"；为空则关闭自动注册；
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
### xxl-job, access token
# 执行器通讯TOKEN [选填]：非空时启用；admin存在则必须与admin中的一致
xxl.job.accessToken=default_token
### xxl-job executor appname
# appname要与xxl-job调度中心中创建的执行器的appname一致才会自动注册
# 执行器AppName [选填]：执行器心跳注册分组依据；为空则关闭自动注册
xxl.job.executor.appname=xxl-job-executor-sample-mytask
#xxl.job.executor.appname= # 为空不自动注册:xxl-job, executor registry config fail, appname is null.
### xxl-job executor registry-address: default use address to registry , otherwise use ip:port if address is null
# 执行器注册 [选填]：优先使用该配置作为注册地址，为空时使用内嵌服务 ”IP:PORT“ 作为注册地址。从而更灵活的支持容器类型执行器动态IP和动态映射端口问题。
xxl.job.executor.address=http://127.0.0.1:7777
### xxl-job executor server-info
# 执行器IP [选填]：默认为空表示自动获取IP，多网卡时可手动设置指定IP，该IP不会绑定Host仅作为通讯实用；地址信息用于 "执行器注册" 和 "调度中心请求并触发任务"；
xxl.job.executor.ip=127.0.0.1
# 执行器端口号 [选填]：小于等于0则自动获取；默认端口为9999，单机部署多个执行器时，注意要配置不同执行器端口；
xxl.job.executor.port=7777
### xxl-job executor log-path
# 执行器运行日志文件存储磁盘路径 [选填] ：需要对该路径拥有读写权限；为空则使用默认路径；
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### xxl-job executor log-retention-days
# 执行器日志文件保存天数 [选填] ： 过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能；
xxl.job.executor.logretentiondays=30
### 注意：手动录入执行器address时，要写上http://
3.执行器配置：XxlJobConfig
@Configuration
public class XxlJobConfig {
private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);
@Value("${xxl.job.admin.addresses}")
private String adminAddresses;
@Value("${xxl.job.accessToken}")
private String accessToken;
@Value("${xxl.job.executor.appname}")
private String appname;
@Value("${xxl.job.executor.address}")
private String address;
@Value("${xxl.job.executor.ip}")
private String ip;
@Value("${xxl.job.executor.port}")
private int port;
@Value("${xxl.job.executor.logpath}")
private String logPath;
@Value("${xxl.job.executor.logretentiondays}")
private int logRetentionDays;
@Bean
public XxlJobSpringExecutor xxlJobExecutor() {
logger.info(">>>>>>>>>>> xxl-job config init.");
XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
xxlJobSpringExecutor.setAppname(appname);
xxlJobSpringExecutor.setAddress(address);
xxlJobSpringExecutor.setIp(ip);
xxlJobSpringExecutor.setPort(port);
xxlJobSpringExecutor.setAccessToken(accessToken);
xxlJobSpringExecutor.setLogPath(logPath);
xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
return xxlJobSpringExecutor;
}
}
启动执行器项目
4.新增执行器
若是新增的执行器（xxl_job_group表中都不存在执行器），则需在admin页面新增。建议注册方式使用自动注册，若使用集群时，会自动新增到此执行器组中，省去手动添加多个address。
AppName填写的值为：xxl.job.executor.appname
5.新增任务（若不存在则新增任务；若是集群部署，则不用新增）
jobhandler填写值:XxlJob中的值
如：@XxlJob(“myJobHandler”)，新增任务时则填写myJobHandler
6.选择指定任务操作
说明：
执行一次：将对应的任务按照路由策略执行（手动执行）
查询日志：任务（手动/自动）执行后，可看到对应（成功/失败）的日志
注册节点：可看到此任务jobhandler集群的address
下次执行时间：根据任务的调度配置，从现在开始推算，预计在什么时候执行
启动：点击启动后，该任务才是定时任务
4771
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
