Xxl Job Helloworld

最新推荐文章于 2024-07-29 17:13:10 发布
最新推荐文章于 2024-07-29 17:13:10 发布
阅读量1.9k 收藏 2
点赞数
分类专栏： Architecture Job
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012410733/article/details/103933544
版权

刚到新公司不久，新公司使用分布式任务调度平台是 xxl-job。其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。当然它的特性在 它的官网 描述得非常清楚，我就不需要赘述了。对于 xxl-job 只是了解过，并没有在真实的环境使用过。为了更好的使用这个框架，准备分析一下它的实现过程。使用的 xxl-job 是最新版本 2.2.0-SNAPSHOT，下面从 hello world 开始。

1、设计思想

将调度行为抽象形成“调度中心”公共平台，而平台自身并不承担业务逻辑，“调度中心”负责发起调度请求。

将任务抽象成分散的JobHandler，交由“执行器”统一管理，“执行器”负责接收调度请求并执行对应的JobHandler中业务逻辑。

因此，“调度”和“任务”两部分可以相互解耦，提高系统整体稳定性和扩展性；

2、系统组成

2.1 调度模块（调度中心）：

负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码。调度系统与任务解耦，提高了系统可用性和稳定性，同时调度系统性能不再受限于任务模块；
支持可视化、简单且动态的管理调度信息，包括任务新建，更新，删除，GLUE开发和任务报警等，所有上述操作都会实时生效，同时支持监控调度结果以及执行日志，支持执行器Failover。

2.2 执行模块（执行器）：

负责接收调度请求并执行任务逻辑。任务模块专注于任务的执行等操作，开发和维护更加简单和高效；
接收“调度中心”的执行请求、终止请求和日志请求等。

3、架构图

在这里插入图片描述

4、调度模块

xxl-job 早期实现是通过 Quartz 来实现的。Quartz作为开源作业调度中的佼佼者，是作业调度的首选。但是集群环境中Quartz采用API的方式对任务进行管理，从而可以避免上述问题，但是同样存在以下问题：

问题一：调用API的的方式操作任务，不人性化；
问题二：需要持久化业务QuartzJobBean到底层数据表中，系统侵入性相当严重。
问题三：调度逻辑和QuartzJobBean耦合在同一个项目中，这将导致一个问题，在调度任务数量逐渐增多，同时调度任务逻辑逐渐加重的情况下，此时调度系统的性能将大大受限于业务；
问题四：quartz底层以“抢占式”获取DB锁并由抢占成功节点负责运行任务，会导致节点负载悬殊非常大；而XXL-JOB通过执行器实现“协同分配式”运行任务，充分发挥集群优势，负载各节点均衡。

XXL-JOB弥补了quartz的上述不足之处。采用了自研调度模块。

XXL-JOB最终选择自研调度组件（早期调度组件基于Quartz）；一方面是为了精简系统降低冗余依赖，另一方面是为了提供系统的可控度与稳定性；

XXL-JOB中“调度模块”和“任务模块”完全解耦，调度模块进行任务调度时，将会解析不同的任务参数发起远程调用，调用各自的远程执行器服务。这种调用模型类似RPC调用，调度中心提供调用代理的功能，而执行器提供远程服务的功能。

5、hello world

我们首先从 xxl-job github 地址 把项目源代码拉取下来。
在这里插入图片描述

  • xxl-admin：就是调度中心。
  • xxl-job-executor-samples：是提供的不同使用的简单 demo，可以理解成执行器。
  • xxl-job-core：是基础模块，为调用中心以及执行器提供服务。

下面就来说说如何使用 xxl-job。

5.1 初始化调度数据库

调度数据库初始化SQL脚本位置为，下载项目目录的：

/xxl-job/doc/db/tables_xxl_job.sql

调度中心支持集群部署，集群情况下各节点务必连接同一个mysql实例;

如果mysql做主从,调度中心集群节点务必强制走主库;

5.2 启动调度中心

启动调度中心需要以下几个步骤：

首先个性调度中心的配置文件，调度中心配置文件地址：

/xxl-job/xxl-job-admin/src/main/resources/application.properties

调度中心配置内容说明：

### 调度中心JDBC链接：链接地址请保持和 2.1章节 所创建的调度数据库的地址一致
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?Unicode=true&characterEncoding=UTF-8
spring.datasource.username=root
spring.datasource.password=root_pwd
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
### 报警邮箱
spring.mail.host=smtp.qq.com
spring.mail.port=25
spring.mail.username=xxx@qq.com
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory
### 调度中心通讯TOKEN [选填]：非空时启用；
xxl.job.accessToken=
### 调度中心国际化配置 [选填]： 默认为空，表示中文; "en" 表示英文；
xxl.job.i18n=
## 调度线程池最大线程配置【必填】
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100
### 调度中心日志表数据保存天数 [必填]：过期日志自动清理；限制大于等于7时生效，否则, 如-1，关闭自动清理功能；
xxl.job.logretentiondays=30

调度中心访问地址：http://localhost:8080/xxl-job-admin (该地址执行器将会使用到，作为回调地址)

默认登录账号 “admin/123456”, 登录后运行界面如下图所示。

在这里插入图片描述

5.3 配置部署执行器项目

“执行器”项目：xxl-job-executor-sample-springboot (提供多种版本执行器供选择，现以 springboot 版本为例，可直接使用，也可以参考其并将现有项目改造成执行器)
作用：负责接收“调度中心”的调度并执行；可直接部署执行器，也可以将执行器集成到现有业务项目中。

对于真实的项目需要启动执行器需要执行以下几个步骤：

步骤一：maven依赖

确认pom文件中引入了 “xxl-job-core” 的maven依赖；

步骤二：执行器配置

执行器配置，配置文件地址：

/xxl-job/xxl-job-executor-samples/xxl-job-executor-sample-springboot/src/main/resources/application.properties

执行器配置，配置内容说明：

### 调度中心部署跟地址 [选填]：如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"；为空则关闭自动注册；
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
### 执行器AppName [选填]：执行器心跳注册分组依据；为空则关闭自动注册
xxl.job.executor.appname=xxl-job-executor-sample
### 执行器IP [选填]：默认为空表示自动获取IP，多网卡时可手动设置指定IP，该IP不会绑定Host仅作为通讯实用；地址信息用于 "执行器注册" 和 "调度中心请求并触发任务"；
xxl.job.executor.ip=
### 执行器端口号 [选填]：小于等于0则自动获取；默认端口为9999，单机部署多个执行器时，注意要配置不同执行器端口；
xxl.job.executor.port=9999
### 执行器通讯TOKEN [选填]：非空时启用；
xxl.job.accessToken=
### 执行器运行日志文件存储磁盘路径 [选填] ：需要对该路径拥有读写权限；为空则使用默认路径；
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### 执行器日志文件保存天数 [选填] ： 过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能；
xxl.job.executor.logretentiondays=30

注意：如果配置执行端口号那么它不需要与执行器所在的服务端口不同冲突。

步骤三：执行器组件配置

执行器组件，配置文件地址：

/xxl-job/xxl-job-executor-samples/xxl-job-executor-sample-springboot/src/main/java/com/xxl/job/executor/core/config/XxlJobConfig.java

执行器组件，配置内容说明：它主要的作用就是把当前任务注册到调度中心，用于调度中心控制执行器的执行。

@Bean
public XxlJobSpringExecutor xxlJobExecutor() {
    logger.info(">>>>>>>>>>> xxl-job config init.");
    XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
    xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
    xxlJobSpringExecutor.setAppName(appName);
    xxlJobSpringExecutor.setIp(ip);
    xxlJobSpringExecutor.setPort(port);
    xxlJobSpringExecutor.setAccessToken(accessToken);
    xxlJobSpringExecutor.setLogPath(logPath);
    xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
    return xxlJobSpringExecutor;
}

步骤四：启动 xxl-job-executor-sample-springboot

com.xxl.job.executor.XxlJobExecutorApplication.main() 启动。

5.4 调度中心配置并启动任务

首先 执行器管理 模块添加执行器，它其实就是作业分组。点击进入”执行器管理”界面, 如下图:

在这里插入图片描述
图中的执行器是初始化 SQL 添加进去的。在没有执行器注册成功的时候 Online 机器地址 这栏是空的。

1、"调度中心OnLine:"右侧显示在线的"调度中心"列表, 任务执行结束后, 将会以failover的模式进行回调调度中心通知执行结果, 避免回调的单点风险;
2、"执行器列表" 中显示在线的执行器列表, 可通过"OnLine 机器"查看对应执行器的集群机器。

点击按钮 “+新增执行器” 弹框如下图, 可新增执行器配置:

在这里插入图片描述
执行器属性说明:

AppName: 是每个执行器集群的唯一标示AppName, 执行器会周期性以AppName为对象进行自动注册。可通过该配置自动发现注册成功的执行器, 供任务调度时使用;
名称: 执行器的名称, 因为AppName限制字母数字等组成,可读性不强, 名称为了提高执行器的可读性;
排序: 执行器的排序, 系统中需要执行器的地方,如任务新增, 将会按照该排序读取可用的执行器列表;
注册方式：调度中心获取执行器地址的方式；
    自动注册：执行器自动进行执行器注册，调度中心通过底层注册表可以动态发现执行器机器地址；
    手动录入：人工手动录入执行器的地址信息，多地址逗号分隔，供调度中心使用；
机器地址："注册方式"为"手动录入"时有效，支持人工维护执行器的地址信息；

其实在初始化的 sql 中已经添加了执行器。也就是 xxl-job-executor-sample 这个示例执行器。
在这里插入图片描述
在执行器启动成功之后 Online 机器地址 就会显示注册的机器，在没有启动执行器的时候，这一拦是空的。可以查看执行器管理中的图片。

下一个步骤就是在任务管理模块中在已有执行器添加任务：

在这里插入图片描述
初始化 SQL 已经添加了 bean 模式的任务。我们直接执行就可以了。下面是新建任务的界面
在这里插入图片描述
配置属性详细说明：

执行器：任务的绑定的执行器，任务触发调度时将会自动发现注册成功的执行器, 实现任务自动发现功能; 另一方面也可以方便的进行任务分组。每个任务必须绑定一个执行器, 可在 "执行器管理" 进行设置;
- 任务描述：任务的描述信息，便于任务管理；
- 路由策略：当执行器集群部署时，提供丰富的路由策略，包括；
    FIRST（第一个）：固定选择第一个机器；
    LAST（最后一个）：固定选择最后一个机器；
    ROUND（轮询）：；
    RANDOM（随机）：随机选择在线的机器；
    CONSISTENT_HASH（一致性HASH）：每个任务按照Hash算法固定选择某一台机器，且所有任务均匀散列在不同机器上。
    LEAST_FREQUENTLY_USED（最不经常使用）：使用频率最低的机器优先被选举；
    LEAST_RECENTLY_USED（最近最久未使用）：最久为使用的机器优先被选举；
    FAILOVER（故障转移）：按照顺序依次进行心跳检测，第一个心跳检测成功的机器选定为目标执行器并发起调度；
    BUSYOVER（忙碌转移）：按照顺序依次进行空闲检测，第一个空闲检测成功的机器选定为目标执行器并发起调度；
    SHARDING_BROADCAST(分片广播)：广播触发对应集群中所有机器执行一次任务，同时系统自动传递分片参数；可根据分片参数开发分片任务；
- Cron：触发任务执行的Cron表达式；
- 运行模式：
    BEAN模式：任务以JobHandler方式维护在执行器端；需要结合 "JobHandler" 属性匹配执行器中任务；
    GLUE模式(Java)：任务以源码方式维护在调度中心；该模式的任务实际上是一段继承自IJobHandler的Java类代码并 "groovy" 源码方式维护，它在执行器项目中运行，可使用@Resource/@Autowire注入执行器里中的其他服务；
    GLUE模式(Shell)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "shell" 脚本；
    GLUE模式(Python)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "python" 脚本；
    GLUE模式(PHP)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "php" 脚本；
    GLUE模式(NodeJS)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "nodejs" 脚本；
    GLUE模式(PowerShell)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "PowerShell" 脚本；
- JobHandler：运行模式为 "BEAN模式" 时生效，对应执行器中新开发的JobHandler类“@JobHandler”注解自定义的value值；
- 阻塞处理策略：调度过于密集执行器来不及处理时的处理策略；
    单机串行（默认）：调度请求进入单机执行器后，调度请求进入FIFO队列并以串行方式运行；
    丢弃后续调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，本次请求将会被丢弃并标记为失败；
    覆盖之前调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，将会终止运行中的调度任务并清空队列，然后运行本地调度任务；
- 子任务：每个任务都拥有一个唯一的任务ID(任务ID可以从任务列表获取)，当本任务执行结束并且执行成功时，将会触发子任务ID所对应的任务的一次主动调度。
- 任务超时时间：支持自定义任务超时时间，任务运行超时将会主动中断任务；
- 失败重试次数；支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；
- 报警邮件：任务调度失败时邮件通知的邮箱地址，支持配置多邮箱地址，配置多个邮箱地址时用逗号分隔；
- 负责人：任务的负责人；
- 执行参数：任务执行所需的参数；

下面我们就在初始化的任务操作栏，执行一次启动任务。

可以通过调度日志查看任务执行情况：
在这里插入图片描述
以及查看运行报表查看任务的相关信息：
在这里插入图片描述

参考文章：分布式任务调度平台XXL-JOB 官方文档

carl-zhao
关注
专栏目录
XXL-JOB
05-28 444
xxl-job的github地址https://github.com/xuxueli/xxl-job xxl-job的文档地址http://www.xuxueli.com/xxl-job/#/ 传统的job，在tomcat服务集群时，在每台jvm都会配置相同的job配置，并且配置都是写死的，任务时间到时，每台服务都会执行任务，自身无法保证幂等性，如果想保证幂等性需要用到分布式锁或者通过标识来判断这个服务的job是否执行(true和false标识)，并且无法实现负载策略 XXL-JOB是一个轻量级分布式任
XXL-JOB快速入门
10-10 1814
https://www.jianshu.com/p/fa7186bea84b 概述 XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。 官方地址中文版：http://www.xuxueli.com/xxl-job 目前已有多家公司接入xxl-job，包括比较知名的大众点评，京东，优信二手车，北京尚...
xxl-job
java开发日记
08-12 6940
xxl-job 定时任务分析: XXL-JOB是一个轻量级分布式任务调度平台,调度采用中心式设计，“调度中心”基于集群Quartz实现并支持集群部署。任务分布式执行，任务"执行器"支持集群部署。
xxl-job详解
最新发布
SRY12240419的博客
07-29 2589
XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
xxl-job的使用及简述原理
热门推荐
米二的博客
12-14 3万+
文章目录前言1. 介绍2. 部署篇2.1. 初始化数据库2.2. 部署调度中心2.2.1 集群部署2.3. 部署执行器2.3.1 集群部署3. 使用篇3.1. 设置执行器3.2. 新建任务3.3. 启动任务3.4. 查看日志4. 原理篇4.1 任务执行流程4.2 一致性问题4.2.1 在集群部署时,多台调度器如何保证任务不会重复调用呢?4.2.2 如何保证任务不会漏呢?4.3 (动态)分片与广播 前言 本文章基于xxl-job 2.2.0, jdk8 , springboot 2.2.6.RELEASE
springboot2.1.3整合xxl-job2.2.0
qq_36213455的博客
03-02 896
前提 1.下载xxl-job源码 https://github.com/xuxueli/xxl-job/releases/tag/v2.2.0 2.修改下面项目路径数据库连接配置 xxl-job/xxl-job-admin/src/main/resources/application.properties ### xxl-job, datasource spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&am
XXLjob
HelloKitty520123的专栏
01-07 211
XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。 学习地址：https://www.xuxueli.com/xxl-job/ 分布式定时任务调度系统技术解决方案(xxl-job、Elastic-job、Saturn)的比较： https://blog.51cto.com/89391...
xxljob默认登录_XXL-JOB快速入门
weixin_36195837的博客
12-23 3924
概述XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。官方地址中文版：http://www.xuxueli.com/xxl-job目前已有多家公司接入xxl-job，包括比较知名的大众点评，京东，优信二手车，北京尚德，360金融 (360)，联想集团 (联想)，易信 (网易)等等....Quartz作...
XXL-JOB完全开发手册（一篇学会XXL-JOB所有知识点）
hao_kkkkk的专栏
03-19 768
如果任务类型为 “GLUE模式”，将会加载 GLue 代码，实例化 Java 对象，注入依赖的 Spring 服务（注意：Glue代码中注入的Spring服务，必须存在与该“执行器”项目的Spring容器中），然后调用execute方法，执行任务逻辑。使用于业务复杂，业务量大，服务器多。​ 调度中心和执行器两个模块分开部署，相互分离，两者之间通过RPC进行通信，其中调度中心主要是提供一个平台，管理调度信息，发送调度请求，自己不承担业务代码，而执行器接受调度中心的调度执行业务逻辑。
xxljob从入门到精通-全网段最全解说
lifetragedy的专栏
06-05 1万+
XXL-JOB特性一览 基本概念 xxljob解决的是以下几个痛点： 1） 跑批处理监控无法可视化，当前跑批的状态是：成功？失败？挂起？进度？为什么失败/原因？ 2）批处理任务不可重用，特别是无法对批处理任务做：定时？重复使用？频次？其中路由调度？ 3）批处理任务无法做到网格计算（特别像：websphere ibm grid computing）即批处理任务本身可以做成集群、fail over、sharding 由其是批处理任务可以做成“网格计算”这个功能，有了xxljob后你会发觉特别强大
xxljob默认登录_xxl-job安装部署整理
weixin_39599372的博客
12-31 1577
xxl-job github源码地址：https://github.com/xuxueli/xxl-jobxxl-job 官方文档：https://www.xuxueli.com/xxl-job/#系统组成调度模块(调度中心)：负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码。调度系统与任务解耦，提高了系统可用性和稳定性，同时调度系统性能不再受限于任务模块；支持可视化、简单且动态的管...
Xxljob介绍
weixin_52293201的博客
04-11 627
xxl-job是一个开源的分布式定时任务框架，其调度中心和执行器是相互分离，分开部署的，两者通过HTTP协议进行通信。将任务抽象成分散的JobHandler，交由“执行器”统一管理，“执行器”负责接收调度请求并执行对应的JobHandler中业务逻辑。因此，“调度”和“任务”两部分可以相互解耦，提高系统整体稳定性和扩展性；负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码。调度系统与任务解耦，提高了系统可用性和稳定性，同时调度系统性能不再受限于任务模块；
【xxljob简介】
weixin_45596982的博客
05-06 881
分布式管理xxljob
XXL-job入门
吕世良
11-27 129
XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。 XXL-JOB特性 简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手 动态：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效 调度中心HA（中心式）：调度采用中心式设计，“调度中心”基于集群Quartz实现并支持集群部署，可保证调度中心HA 执行器HA（分布式）：任务分布式执行，任务"执行器"支持集群部署，可保证
xxl-job 是什么？
weixin_51291483的博客
05-12 3145
写这篇文章主要是为了记录一下项目中是如何使用 xxl-job 的，并且提供一种分片广播均分任务的思路以及幂等性问题如何处理，具体使用 xxl-job 还需根据自己项目的需求，遇到问题可以参考官网。
XXL-JOB简述
任我行哟的博客
12-28 3915
一：整体架构 XXL-JOB是一个分布式任务调度平台。它主要分为两部分：调度中心，任务执行器。 如下图 二：什么是任务执行器 上图1处MODULE，就是任务执行器，类似于我们基于@EnableScheduling 注解编写的定时任务代码。 三：什么是调度中心 上图1处MODULE，就是任务调度器器，可以将它比做Eureka，任务执行器将节点元数据信息注册到调度中心，由调度中心根据我们指定的策略去进行调度任务执行器执行定时任务代码。 四：如何使用XXLJOB 1、码云上down下代码 2、在项目的目录下
26 xxljob
封神之路
11-07 142
1 2 3 4 5 6 Java实现定时任务方式 1.Thread public class Demo01 { static long count = 0; public static void main(String[] args) { Runnable runnable = new Runnable() { @Override public void ru...
XXLJOB源码解析：调度与执行器详解
"xxljob源码解析文档详细介绍了xxl-job的架构、源码结构、数据库表结构以及调度模块的分析。" XXL-JOB是一个轻量级分布式任务调度平台，由调度中心（xxl-job-admin）和执行器（xxl-job-executor）组成。调度中心...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值