IT忍者神龟之Spring整合Quartz分布式调度

标签: Quartz
9人阅读 评论(0) 收藏 举报
分类:

前言

把部分文档迁移到CSDN,为了保证应用的高可用和高并发性,一般都会部署多个节点;对于定时任务,如果每个节点都执行自己的定时任务,一方面耗费了系统资源,另一方面有些任务多次执行,可能引发应用逻辑问题,所以需要一个分布式的调度系统,来协调每个节点执行定时任务。


Spring整合Quartz

Quartz是一个成熟的任务调度系统,Spring对Quartz做了兼容,方便开发,下面看看具体如何整合:

1.Maven依赖文件

<dependencies>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-core</artifactId>
            <version>4.3.5.RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-context-support</artifactId>
            <version>4.3.5.RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-tx</artifactId>
            <version>4.3.5.RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-jdbc</artifactId>
            <version>4.3.5.RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.quartz-scheduler</groupId>
            <artifactId>quartz</artifactId>
            <version>2.2.3</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.29</version>
        </dependency>
    </dependencies>

主要就是Spring相关库、quartz库以及mysql驱动库,注:分布式调度需要用到数据库,这里选用mysql;


2.配置job

提供了两种方式来配置job,分别是:MethodInvokingJobDetailFactoryBean和JobDetailFactoryBean

2.1MethodInvokingJobDetailFactoryBean

要调用特定bean的一个方法的时候使用,具体配置如下:

<bean id="firstTask" class="org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean">  
    <property name="targetObject" ref="firstService" />  
    <property name="targetMethod" value="service" />  
</bea>

2.2JobDetailFactoryBean

这种方式更加灵活,可以设置传递参数,具体如下:

<bean id="firstTask"
        class="org.springframework.scheduling.quartz.JobDetailFactoryBean">
        <property name="jobClass" value="zh.maven.SQuartz.task.FirstTask" />
        <property name="jobDataMap">
            <map>
                <entry key="firstService" value-ref="firstService" />
            </map>
        </property>
</bean>

jobClass定义的任务类,继承QuartzJobBean,实现executeInternal方法;jobDataMap用来给job传递数据;


3.配置调度使用的触发器

同样提供了两种触发器类型:SimpleTriggerFactoryBean和CronTriggerFactoryBean

重点看CronTriggerFactoryBean,这种类型更加灵活,具体如下:

<bean id="firstCronTrigger"
    class="org.springframework.scheduling.quartz.CronTriggerFactoryBean">
    <property name="jobDetail" ref="firstTask" />
    <property name="cronExpression" value="0/5 * * ? * *" />
</bean>

jobDetail指定的就是在步骤2中配置的job,cronExpression配置了每5秒执行一次job;


4.配置Quartz调度器的SchedulerFactoryBean

同样提供了两种方式:内存RAMJobStore和数据库方式

4.1内存RAMJobStore

job的相关信息存储在内存里,每个节点存储各自的,互相隔离,配置如下:

<bean class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
    <property name="triggers">
        <list>
            <ref bean="firstCronTrigger" />
        </list>
    </property>
</bean>

4.2数据库方式

job的相关信息存储在数据库中,所有节点共用数据库,每个节点通过数据库来通信,保证一个job同一时间只会在一个节点上执行,并且

如果某个节点挂掉,job会被分配到其他节点执行,具体配置如下:

<bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource"
        destroy-method="close">
        <property name="driverClass" value="com.mysql.jdbc.Driver" />
        <property name="jdbcUrl" value="jdbc:mysql://localhost:3306/quartz" />
        <property name="user" value="root" />
        <property name="password" value="root" />
    </bean>
    <bean class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
        <property name="dataSource" ref="dataSource" />
        <property name="configLocation" value="classpath:quartz.properties" />
        <property name="triggers">
            <list>
                <ref bean="firstCronTrigger" />
            </list>
        </property>
    </bean>

dataSource用来配置数据源,数据表相关信息,可以到官网下载gz包,sql文件在路径:docs\dbTables下,里面提供了主流数据库的sql文件,总共11张表;

configLocation配置的quartz.properties文件在quartz.jar的org.quartz包下,里面提供了一些默认的数据,比如org.quartz.jobStore.class

org.quartz.jobStore.class: org.quartz.simpl.RAMJobStore

这里需要将quartz.properties拷贝出来做一些修改,具体修改如下:

org.quartz.scheduler.instanceId: AUTO
org.quartz.jobStore.class: org.quartz.impl.jdbcjobstore.JobStoreTX
org.quartz.jobStore.isClustered: true
org.quartz.jobStore.clusterCheckinInterval: 1000

5.相关类

public class FirstTask extends QuartzJobBean {
 
    private FirstService firstService;
 
    @Override
    protected void executeInternal(JobExecutionContext context) throws JobExecutionException {
        firstService.service();
    }
 
    public void setFirstService(FirstService firstService) {
        this.firstService = firstService;
    }
}

FirstTask继承QuartzJobBean,实现executeInternal方法,调用FirstService;

public class FirstService implements Serializable {
 
    private static final long serialVersionUID = 1L;
 
    public void service() {
        System.out.println(new SimpleDateFormat("YYYYMMdd HH:mm:ss").format(new Date()) + "---start FirstService");
        try {
            Thread.sleep(2000);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        System.out.println(new SimpleDateFormat("YYYYMMdd HH:mm:ss").format(new Date()) + "---end FirstService");
    }
}

FirstService需要提供序列化接口,因为需要保存在数据库中;

public class App {
    public static void main(String[] args) {
        AbstractApplicationContext context = new ClassPathXmlApplicationContext("quartz.xml");
    }
}

主类用来加载quartz配置文件;


测试分布式调度

1.同时启动App两次,观察日志:

20180405 14:48:10---start FirstService
20180405 14:48:12---end FirstService
20180405 14:48:15---start FirstService
20180405 14:48:17---end FirstService

其中A1有日志输出,A2没有;当停掉A1以后,A2有日志输出;


2.添加新的job分别新建:SecondTask和SecondService,同时添加相关配置文件,启动App观察日志:

A1日志如下:

20180405 15:03:15---start FirstService
20180405 15:03:15---start SecondService
20180405 15:03:17---end FirstService
20180405 15:03:17---end SecondService
20180405 15:03:20---start FirstService
20180405 15:03:22---end FirstService
20180405 15:03:25---start FirstService
20180405 15:03:27---end FirstService

A2日志如下:

20180405 15:03:20---start SecondService
20180405 15:03:22---end SecondService
20180405 15:03:25---start SecondService
20180405 15:03:27---end SecondService

可以发现A1和A2都有执行任务,但是同一任务同一时间只会在一个节点执行,并且只有在执行结束后才有可能分配到其他节点;


3.如果间隔时间小于任务执行时间,比如这里改成sleep(6000)

A1日志如下:

20180405 15:14:40---start FirstService
20180405 15:14:45---start FirstService
20180405 15:14:46---end FirstService
20180405 15:14:50---start FirstService
20180405 15:14:50---start SecondService
20180405 15:14:51---end FirstService

A2日志如下:

20180405 15:14:40---start SecondService
20180405 15:14:45---start SecondService
20180405 15:14:46---end SecondService
20180405 15:14:51---end SecondService

间隔时间是5秒,而任务执行需要6秒,观察日志可以发现,任务还没有结束,新的任务已经开始,这种情况可能引发应用的逻辑问题,其实就是任务能不能支持串行的问题;


4.@DisallowConcurrentExecution注解保证任务的串行

在FirstTask和SecondTask上分别添加@DisallowConcurrentExecution注解,日志结果如下:

A1日志如下:

20180405 15:32:45---start FirstService
20180405 15:32:51---end FirstService
20180405 15:32:51---start FirstService
20180405 15:32:51---start SecondService
20180405 15:32:57---end FirstService
20180405 15:32:57---end SecondService
20180405 15:32:57---start FirstService
20180405 15:32:57---start SecondService

A2日志如下:

20180405 15:32:45---start SecondService
20180405 15:32:51---end SecondService

观察日志可以发现,任务只有在end以后,才会开始新的任务,实现了任务的串行化;


总结

本文旨在对Spring+Quartz分布式调度有一个直观的了解,通过实际的使用来解决问题,当然可能还有很多疑问比如它是如何调度的,数据库如果挂了会怎么样等等,还需要做更加深入的了解。

查看评论

基于Spring实现定时调度

比较常用的是,Spring对Quartz的支持,可以非常容易地进行定时任务的调度。一般,具有两种方式实现定时调度:一种是通过继承Spring的org.springframework.schedulin...
  • shirdrn
  • shirdrn
  • 2011-04-24 23:41:00
  • 4641

Spring之定时器(QuartzJobBean)的实现

想要实现Spring定时器,其实简单,就4个步骤.        1.首先你需要下载quartz-1.6.0.jar包,版本随意。必须! jta.jar(这个可以注意一下是否必须要)        ...
  • u014492098
  • u014492098
  • 2015-01-04 20:30:57
  • 4630

spring中集成作业调度

本文地址:http://blog.csdn.net/kongxx/article/details/6860732 前面写了几个文章是关于spring中集成作业调度功能的东西,可以参考 Spr...
  • aaa1117a8w5s6d
  • aaa1117a8w5s6d
  • 2015-08-18 19:11:46
  • 430

第1章 ssm 整合 quartz (解决了无法注入service问题)

代码下载: http://download.csdn.net/detail/bird73/9859199第1章 ssm 整合 quartz (解决了无法注入service问题)1.1.2 简单项目整合...
  • bird73
  • bird73
  • 2017-06-02 23:50:44
  • 312

Spring整合Quartz分布式调度

原文链接:点击打开链接摘要: 为了保证应用的高可用和高并发性,一般都会部署多个节点;对于定时任务,如果每个节点都执行自己的定时任务,一方面耗费了系统资源,另一方面有些任务多次执行,可能引发应用逻辑问题...
  • qq_40954115
  • qq_40954115
  • 2018-04-10 13:20:37
  • 55

Terracotta Java分布式任务调度平台 - Quartz

高效分布式Java任务调度平台 - QuartzQuartz是Java领域最著名的开源Java任务调度工具。它允许用户通过类似Unix上crontab类似的任务计划语法定义对Java任务的调度计划。T...
  • dalinsi
  • dalinsi
  • 2016-09-04 19:04:12
  • 1166

Mysql com.mysql.jdbc.PacketTooBigException 的解决方案

com.mysql.jdbc.PacketTooBigException: Packet for query is too large (3933378 > 1048576). You can cha...
  • l30961171
  • l30961171
  • 2015-08-31 14:51:17
  • 3370

quartz2.2.1和spring4.1.4整合使用

quartz2.2.1和spring4.1.4整合使用
  • fighterandknight
  • fighterandknight
  • 2016-09-20 01:54:10
  • 3749

zookeeper分布式调度中心

zookeeper介绍Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储, Zookeeper 作用主要是...
  • huoyunp
  • huoyunp
  • 2018-01-10 10:08:22
  • 199

【转载】基于Spring Boot + Quartz 的分布式任务调度系统

项目基于 jdk1.8 采用 Spring Boot 框架集成了分布式任务调度框架 Quartz ,任务存储于数据库。 使用SpringMVC作为路由控制, 集成 Swagger2 提供实时 RES...
  • zwy8831
  • zwy8831
  • 2017-11-11 16:35:00
  • 791
    个人资料
    持之以恒
    等级:
    访问量: 42万+
    积分: 1万+
    排名: 1816
    文章分类
    最新评论