分布式调度平台XXL-JOB

思静语

已于 2024-08-21 11:18:00 修改

阅读量1.1k

点赞数 27

分类专栏： # 分布式 # 定时任务文章标签： java 定时任务

于 2024-02-27 17:28:40 首次发布

本文链接：https://blog.csdn.net/Fireworkit/article/details/136328032

版权

分布式同时被 2 个专栏收录

21 篇文章 1 订阅

订阅专栏

定时任务

3 篇文章 0 订阅

订阅专栏

文章目录

XXL-JOB 概述

XXL-JOB 是一个功能强大且易于使用的分布式任务调度平台，通过其高可用性设计、灵活的调度策略和丰富的功能特性，可以满足各种复杂任务调度需求。在实际使用中，通过合理配置和使用其提供的API，可以实现高效稳定的任务调度和管理。
XXL-JOB是一个轻量级分布式任务调度框架，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
在平时的业务场景中，经常有一些场景需要使用定时任务，比如：
时间驱动的场景：某个时间点发送优惠券，发送短信等等。批量处理数据：批量统计上个月的账单，统计上个月销售数据等等。固定频率的场景：每隔5分钟需要执行一次。所以定时任务在平时开发中并不少见，而且对于现在快速消费的时代，每天都需要发送各种推送，消息都需要依赖定时任务去完成，应用非常广泛。
XXL-JOB 是一个开源的分布式任务调度平台，广泛应用于各种定时任务的调度和管理。它提供了一套完整的分布式任务调度解决方案，适用于Java生态系统。以下是 XXL-JOB 的详细介绍，包括其架构、核心功能、实现原理和使用方法。

架构设计

XXL-JOB 的架构主要包括以下几个组件：
调度中心（Scheduler）：
调度中心是 XXL-JOB 的核心组件，负责任务的调度和管理。
可以部署为集群模式，通过分布式锁或Leader选举机制保证高可用性。
负责任务的创建、更新、删除、调度以及调度日志的管理。
执行器（Executor）：
执行器是任务的实际执行单元，通常是部署在业务服务中的独立进程。
通过注册到调度中心，接收调度中心分配的任务并执行。
支持多种执行方式，如同步执行、异步执行、广播执行等。
调度API：
提供了丰富的API接口，用于任务的调度和管理。
可以通过API实现任务的动态创建、修改、删除和触发。

核心功能

XXL-JOB 提供了一系列强大的功能，满足不同场景下的任务调度需求：
简单易用的Web界面：
提供直观的Web管理界面，方便用户进行任务管理和监控。
支持任务的创建、修改、删除、启动、停止等操作。
分布式调度
支持多种调度策略，如单机调度、分布式调度、广播调度等。
调度中心和执行器均支持集群部署，保证高可用性。
任务日志管理：
详细记录任务的调度日志和执行日志，便于问题排查和性能监控。
提供日志查询和分析功能，方便用户查看任务的执行情况。
执行策略
支持任务的失败重试、超时处理、任务依赖等复杂调度需求。
提供灵活的任务执行策略，如单次执行、周期执行、CRON表达式等。
多语言支持
虽然 XXL-JOB 是基于 Java 实现的，但通过 REST API，可以支持多种语言的任务执行。
通知和报警
支持任务执行结果的通知和报警功能，如任务失败通知、任务超时报警等。
可以通过邮件、短信、钉钉等方式进行通知。

实现原理

任务调度原理：
调度中心定期扫描数据库中的任务，根据任务的调度策略生成调度事件。
调度事件通过 HTTP 请求发送给相应的执行器。
任务执行原理：
执行器接收到调度请求后，按照任务定义的执行逻辑执行任务。
执行结果通过 HTTP 请求反馈给调度中心，更新任务状态和执行日志。
分布式锁和高可用性：
调度中心集群通过 Zookeeper 或者其他分布式锁机制进行 Leader 选举，保证在任何时刻只有一个调度节点负责任务调度。
执行器通过心跳机制定期向调度中心报告状态，调度中心根据执行器的状态分配任务，保证任务的高可用性。

使用方法

环境准备：
搭建 MySQL 数据库，用于存储任务和调度日志。
部署 XXL-JOB 调度中心，可以通过下载官方发布的 WAR 包部署到 Tomcat 服务器。
引入依赖：
在业务项目中引入 XXL-JOB 的依赖。

<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
    <version>2.3.0</version>
</dependency>

配置执行器：在 Spring Boot 项目中，配置 XXL-JOB 执行器。

@Configuration
public class XxlJobConfig {
    
    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.executor.appname}")
    private String appName;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.accessToken}")
    private String accessToken;

    @Value("${xxl.job.executor.logpath}")
    private String logPath;

    @Value("${xxl.job.executor.logretentiondays}")
    private int logRetentionDays;

    @Bean
    public XxlJobSpringExecutor xxlJobExecutor() {
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppName(appName);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
        return xxlJobSpringExecutor;
    }
}

定义任务：使用 @XxlJob 注解定义任务。

@Service
public class SampleJob {

    @XxlJob("sampleJobHandler")
    public ReturnT<String> execute(String param) throws Exception {
        System.out.println("XXL-JOB, Hello World.");
        return ReturnT.SUCCESS;
    }
}

在调度中心配置任务：
通过 XXL-JOB Web 管理界面配置任务的调度策略、执行器信息等。

##xxl-job详解

相对来说，xxl-job中心式的调度平台轻量级，开箱即用，操作简易，上手快，与SpringBoot有非常好的集成，而且监控界面就集成在调度中心，界面又简洁，对于企业维护起来成本不高，还有失败的邮件告警等等。这就使很多企业选择xxl-job做调度平台。

实际上更多公司选择xxl-job，目前xxl-job的github上有15.7k个star，登记公司有348个。毫无疑问elasticjob和xxl-job都是非常优秀的技术框架，接下来我们进一步对比讨论，探索一下为什么更多公司会选择xxl-job。
首先先介绍一下xxl-job，这是出自大众点评许雪里(xxl就是作者名字的拼音首字母)的开源项目，官网上介绍这是一个轻量级分布式任务调度框架，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。跟elasticjob不同，xxl-job环境依赖于mysql，不用ZooKeeper，这也是最大的不同。
elasticjob的初衷是为了面对高并发复杂的业务，即使是在业务量大，服务器多的时候也能做好任务调度，尽可能的利用服务器的资源。使用ZooKeeper使其具有高可用、一致性的，而且还具有良好的扩展性。官网上写
elasticjob是无中心化的，通过ZooKeeper的选举机制选举出主服务器，如果主服务器挂了，会重新选举新的主服务器。因此elasticjob具有良好的扩展性和可用性，但是使用和运维有一定的复杂

xl-job则相反，是通过一个中心式的调度平台，调度多个执行器执行任务，调度中心通过DB锁保证集群分布式调度的一致性，这样扩展执行器会增大DB的压力，但是如果实际上这里数据库只是负责任务的调度执行。但是如果没有大量的执行器的话和任务的情况，是不会造成数据库压力的。实际上大部分公司任务数，执行器并不多(虽然面试经常会问一些高并发的问题)。

从架构图可以看出，分别有调度中心和执行器两大组成部分
调度中心。负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码。支持可视化界面，可以在调度中心对任务进行新增，更新，删除，会实时生效。支持监控调度结果，查看执行日志，查看调度任务统计报表，任务失败告警等等。执行器。负责接收调度请求，执行调度任务的业务逻辑。执行器启动后需要注册到调度中心。接收调度中心的发出的执行请求，终止请求，日志请求等等。接下来我们看一下xxl-job的工作原理。
在这里插入图片描述

任务执行器根据配置的调度中心的地址，自动注册到调度中心。达到任务触发条件，调度中心下发任务。执行器基于线程池执行任务，并把执行结果放入内存队列中、把执行日志写入日志文件中。执行器的回调线程消费内存队列中的执行结果，主动上报给调度中心。当用户在调度中心查看任务日志，调度中心请求任务执行器，任务执行器读取任务日志文件并返回日志详情

为什么需要任务调度平台

在Java中，传统的定时任务实现方案，比如Timer，Quartz等都或多或少存在一些问题：
不支持集群、不支持统计、没有管理平台、没有失败报警、没有监控等等而且在现在分布式的架构中，有一些场景需要分布式任务调度：
同一个服务多个实例的任务存在互斥时，需要统一的调度。任务调度需要支持高可用、监控、故障告警。需要统一管理和追踪各个服务节点任务调度的结果，需要记录保存任务属性信息等。显然传统的定时任务已经不满足现在的分布式架构，所以需要一个分布式任务调度平台，目前比较主流的是elasticjob和xxl-job。
elasticjob由当当网开源，目前github有6.5k的Star，使用的公司在官网登记有76家。
跟xxl-job不同的是，
elasticjob是采用zookeeper实现分布式协调，实现任务高可用以及分片。

XXL-Job分片

XXL-Job 是一个分布式任务调度平台，它提供了任务调度和任务管理的功能。在 XXL-Job 中，分片是指将一个大任务拆分成多个小任务进行执行的机制。下面是对 XXL-Job 中分片的理解：

任务分片：XXL-Job 将一个大的任务分解成多个小任务，每个小任务称为一个任务分片。每个任务分片可以独立执行，相互之间不会产生影响。
分片数量：任务分片的数量由用户指定，可以根据实际需求进行调整。通常情况下，分片数量取决于任务的处理逻辑和数据量大小。
分片策略：XXL-Job 提供了多种分片策略，用户可以根据实际情况选择合适的策略。常见的分片策略包括固定分片和动态分片两种：
○ 固定分片：将任务分成固定数量的分片，每个分片的数据量相等。
○ 动态分片：根据数据量大小或者其他条件动态地确定分片数量，使得每个分片的数据量尽可能均匀。
分片执行：XXL-Job 会将任务分片分发给执行器节点执行。每个执行器节点负责执行其中的一个或多个分片，执行结果会汇总到调度中心进行统计和监控。
分片参数传递：对于每个任务分片，XXL-Job 允许用户传递参数，以便在执行任务时使用。这些参数可以包括任务的起始位置、结束位置、分片序号等信息。
分片失败处理：如果某个任务分片执行失败，XXL-Job 允许用户设置失败处理策略。常见的失败处理策略包括重试、忽略、记录异常信息等。
监控和报警：XXL-Job 提供了丰富的监控和报警功能，用户可以实时监控任务的执行情况和任务分片的运行状态，及时发现和处理异常情况。
总的来说，XXL-Job 的分片机制能够有效地提高任务的并发执行能力和处理效率，同时也能够保证任务的可靠性和稳定性。通过合理地设置分片参数和选择适当的分片策略，可以充分发挥任务调度平台的性能和效果。