quatz集群化定时任务使用简介

最新推荐文章于 2024-08-18 21:36:31 发布
最新推荐文章于 2024-08-18 21:36:31 发布
阅读量232 收藏
点赞数
文章标签： java 数据库
原文链接：http://www.cnblogs.com/ACRusher/p/5362935.html
版权

 

概要

主要介绍quartz如何使用，原理请阅读下面的参考文献，整理的已经很详细。使用quartz集群的主要目的是避免单点job故障，重要job故障后自动重新执行。

使用指南

 

  • 加入quartz jar 包依赖

<dependency>
    <groupId>com.opensymphony.quartz</groupId>
    <artifactId>com.springsource.org.quartz</artifactId>
    <version>1.6.2</version>
</dependency>

 

  • 集成spring配置 （ spring 为 3.2.x)

<bean id="schedulerFactoryBean" class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
    <property name="configLocation" value="classpath:quartz.properties"/>
    <!-- 设置自动启动 -->
    <property name="autoStartup" value="true"/>
    <!-- This name is persisted as SCHED_NAME in db. for local testing could change to unique name to avoid collision with dev server -->
    <property name="schedulerName" value="quartzScheduler"/>
    <!--可选，QuartzScheduler 启动时更新己存在的Job，这样就不用每次修改targetObject后删除qrtz_job_details表对应记录了 -->
    <property name="overwriteExistingJobs" value="true"/>
    <!--必须的，QuartzScheduler 延时启动，应用启动完后 QuartzScheduler 再启动-->
    <property name="startupDelay" value="30"/>
    <property name="applicationContextSchedulerContextKey" value="applicationContext"/>
    <!-- 注册触发器 -->
    <property name="triggers">
        <list>
            <ref local="demoJobTrigger"/>
        </list>
    </property>
</bean>
<bean id="demoJobDetail" class="org.springframework.scheduling.quartz.JobDetailBean">
    <property name="name" value="demoJobDetailName"/>
    <property name="group" value="demoJobDetailGroup"/>
    <property name="jobClass" value="org.ACRusher.DemoJobClass"/>
    <!-- requestsRecovery属性为true，则当Quartz服务被中止后，再次启动任务时会尝试恢复执行之前未完成的所有任务-->
    <property name="requestsRecovery" value="false"/>
    <!-- 标识job是持久的,删除所有触发器的时候不被删除 -->
    <property name="durability" value="true"/>
    <!--是否是暂存的，若是 ，re-starting quartz 后不存在-->
    <property name="volatility" value="false"/>
</bean>
<bean id="demoJobTrigger" class="org.springframework.scheduling.quartz.CronTriggerBean">
    <property name="name" value="demoJobTriggerName"/>
    <property name="group" value="demoJobTriggerGroup"/>
    <property name="jobDetail" ref="demoJobDetail"/>
    <property name="cronExpression" value="0 0 1 * * ? *"/>
</bean>

 

  • 配置 quartz.properties
# Using Spring datasource in quartzJobsConfig.xml
# Spring uses LocalDataSourceJobStore extension of JobStoreCMT
# org.quartz.jobStore.useProperties=true
org.quartz.jobStore.tablePrefix=QRTZ_
org.quartz.jobStore.isClustered=true
# 10 seconds
org.quartz.jobStore.clusterCheckinInterval=10000
org.quartz.scheduler.skipUpdateCheck=true

# Change this to match your DB vendor
org.quartz.jobStore.class = org.quartz.impl.jdbcjobstore.JobStoreTX
org.quartz.jobStore.driverDelegateClass=org.quartz.impl.jdbcjobstore.StdJDBCDelegate
# Needed to manage cluster instances
org.quartz.scheduler.instanceId=AUTO
org.quartz.scheduler.instanceName=DEMO_JOB_SCHEDULER

org.quartz.scheduler.rmi.export=false
org.quartz.scheduler.rmi.proxy=false
org.quartz.threadPool.class=org.quartz.simpl.SimpleThreadPool
org.quartz.threadPool.threadCount=10
org.quartz.threadPool.threadPriority=5
org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread=true

org.quartz.jobStore.dataSource=myDS
org.quartz.dataSource.myDS.driver=com.mysql.jdbc.Driver
org.quartz.dataSource.myDS.URL=${org.quartz.dataSource.myDS.URL}
org.quartz.dataSource.myDS.user=${org.quartz.dataSource.myDS.user}
org.quartz.dataSource.myDS.password=${org.quartz.dataSource.myDS.password}
org.quartz.dataSource.myDS.maxConnections=5
org.quartz.jobStore.misfireThreshold=120000

 

  • 编写 DemoJobClass

 

import org.quartz.JobExecutionContext;
import org.quartz.JobExecutionException;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.context.ApplicationContext;
import org.springframework.scheduling.quartz.QuartzJobBean;

import java.io.Serializable;
import java.lang.reflect.InvocationTargetException;
import java.lang.reflect.Method;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.locks.ReentrantLock;

/**
 * cluster job 抽象类
 * <p/>
 * Created by ACRusher on 2016/4/7.
 */
public abstract class AbstractClusterJob extends QuartzJobBean implements Serializable {
    protected static final Logger logger = LoggerFactory.getLogger("quartzJob");

    private static final long serialVersionUID = 3158445449885064827L;

    protected ApplicationContext applicationContext;

	//由父类自动注入。 注意，QuartzJobBean 只会注入spring的 context。
    public void setApplicationContext(ApplicationContext applicationContext) {
        this.applicationContext = applicationContext;
    }

    @Override
    protected void executeInternal(JobExecutionContext context) throws JobExecutionException {
        long start = System.currentTimeMillis();
        logger.warn(">>> Cluster Job Frame | jobClass:{} started.",getClass().getSimpleName());
        try {
            beforeJob();
            run(context);
        } catch (Exception e) {
            logger.error("jobClass:{} | jobContext:{} ", new Object[]{getClass().getSimpleName(), context, e});
        } finally {
            logger.warn(">>> Cluster Job Frame | jobClass:{} finished. costTime:{}ms ", getClass().getSimpleName(), System.currentTimeMillis() - start);
        }
    }

    //job业务逻辑
    protected abstract void run(JobExecutionContext context);

    //job执行前注入必要的bean
    protected void beforeJob() throws InvocationTargetException, IllegalAccessException {
        //init injection , etc
        Method[] methods=getClass().getDeclaredMethods();
        for(Method m : methods){
            m.setAccessible(true);
            if(m.getName().startsWith("set")){
                String name=m.getName().substring(3);
                if(name.length()>1){
                    name=Character.toLowerCase(name.charAt(0))+name.substring(1);
                }else {
                    name=String.valueOf(Character.toLowerCase(name.charAt(0)));
                }
                try {
                    Object bean = applicationContext.getBean(name);
                    if (bean != null && !bean.equals("applicationContext")) {
                        m.invoke(this, bean);
                    }
                }catch (Exception e){
                    logger.error("",e);
                }
            }
        }
    }
}

 

  • 编写具体业务Job 
import org.quartz.JobExecutionContext;

/**
 * Created by ACRusher on 2016/4/7.
 */
public class DemoJobClass extends AbstractClusterJob {
    private static final long serialVersionUID = 6945414743611829056L;
    
    private UserManager userManager;
    
    @Override
    protected void run(JobExecutionContext context) {
        // some biz code...
    }

    //由父类自动注入
    public void setUserManager(UserManager userManager) {
        this.userManager = userManager;
    }
}

 

 

  • 在mysql中生成quartz需要使用的表
CREATE TABLE `QRTZ_JOB_DETAILS` (`JOB_NAME` VARCHAR(200) NOT NULL,`JOB_GROUP` VARCHAR(200) NOT NULL,`DESCRIPTION` VARCHAR(250) DEFAULT NULL,`JOB_CLASS_NAME` VARCHAR(250) NOT NULL,`IS_DURABLE` VARCHAR(1) NOT NULL,`IS_VOLATILE` VARCHAR(1) NOT NULL,`IS_STATEFUL` VARCHAR(1) NOT NULL,`REQUESTS_RECOVERY` VARCHAR(1) NOT NULL,`JOB_DATA` BLOB, PRIMARY KEY (`JOB_NAME`,`JOB_GROUP`) ) ENGINE=INNODB DEFAULT CHARSET=utf8;
 
CREATE TABLE `QRTZ_JOB_LISTENERS` ( `JOB_NAME` varchar(200) NOT NULL,`JOB_GROUP` varchar(200) NOT NULL,`JOB_LISTENER` varchar(200) NOT NULL,PRIMARY KEY (`JOB_NAME`,`JOB_GROUP`,`JOB_LISTENER`),KEY `JOB_NAME` (`JOB_NAME`,`JOB_GROUP`),CONSTRAINT `QRTZ_JOB_LISTENERS_ibfk_1` FOREIGN KEY (`JOB_NAME`, `JOB_GROUP`) REFERENCES `QRTZ_JOB_DETAILS` (`JOB_NAME`, `JOB_GROUP`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8

 
CREATE TABLE `QRTZ_LOCKS` (`LOCK_NAME` varchar(40) NOT NULL,PRIMARY KEY (`LOCK_NAME`)) ENGINE=InnoDB DEFAULT CHARSET=utf8

 
CREATE TABLE `QRTZ_PAUSED_TRIGGER_GRPS` (`TRIGGER_GROUP` varchar(200) NOT NULL, PRIMARY KEY (`TRIGGER_GROUP`)) ENGINE=InnoDB DEFAULT CHARSET=utf8

 
CREATE TABLE `QRTZ_SCHEDULER_STATE` (`INSTANCE_NAME` varchar(200) NOT NULL,`LAST_CHECKIN_TIME` bigint(13) NOT NULL,`CHECKIN_INTERVAL` bigint(13) NOT NULL,PRIMARY KEY (`INSTANCE_NAME`)) ENGINE=InnoDB DEFAULT CHARSET=utf8

 
CREATE TABLE `QRTZ_TRIGGERS` (`TRIGGER_NAME` varchar(200) NOT NULL,`TRIGGER_GROUP` varchar(200) NOT NULL,`JOB_NAME` varchar(200) NOT NULL,`JOB_GROUP` varchar(200) NOT NULL,`IS_VOLATILE` varchar(1) NOT NULL,`DESCRIPTION` varchar(250) DEFAULT NULL,`NEXT_FIRE_TIME` bigint(13) DEFAULT NULL,`PREV_FIRE_TIME` bigint(13) DEFAULT NULL,`PRIORITY` int(11) DEFAULT NULL,`TRIGGER_STATE` varchar(16) NOT NULL,`TRIGGER_TYPE` varchar(8) NOT NULL,`START_TIME` bigint(13) NOT NULL,`END_TIME` bigint(13) DEFAULT NULL,`CALENDAR_NAME` varchar(200) DEFAULT NULL,`MISFIRE_INSTR` smallint(2) DEFAULT NULL,`JOB_DATA` blob,PRIMARY KEY (`TRIGGER_NAME`,`TRIGGER_GROUP`),KEY `JOB_NAME` (`JOB_NAME`,`JOB_GROUP`),CONSTRAINT `QRTZ_TRIGGERS_ibfk_1` FOREIGN KEY (`JOB_NAME`, `JOB_GROUP`) REFERENCES `QRTZ_JOB_DETAILS` (`JOB_NAME`, `JOB_GROUP`)) ENGINE=InnoDB DEFAULT CHARSET=utf8

 
CREATE TABLE `QRTZ_TRIGGER_LISTENERS` (`TRIGGER_NAME` varchar(200) NOT NULL,`TRIGGER_GROUP` varchar(200) NOT NULL,`TRIGGER_LISTENER` varchar(200) NOT NULL,PRIMARY KEY (`TRIGGER_NAME`,`TRIGGER_GROUP`,`TRIGGER_LISTENER`),KEY `TRIGGER_NAME` (`TRIGGER_NAME`,`TRIGGER_GROUP`), CONSTRAINT `QRTZ_TRIGGER_LISTENERS_ibfk_1` FOREIGN KEY (`TRIGGER_NAME`, `TRIGGER_GROUP`) REFERENCES `QRTZ_TRIGGERS` (`TRIGGER_NAME`, `TRIGGER_GROUP`)) ENGINE=InnoDB DEFAULT CHARSET=utf8

 
CREATE TABLE `QRTZ_SIMPLE_TRIGGERS` (`TRIGGER_NAME` varchar(200) NOT NULL,`TRIGGER_GROUP` varchar(200) NOT NULL,`REPEAT_COUNT` bigint(7) NOT NULL,`REPEAT_INTERVAL` bigint(12) NOT NULL,`TIMES_TRIGGERED` bigint(10) NOT NULL,PRIMARY KEY (`TRIGGER_NAME`,`TRIGGER_GROUP`),KEY `TRIGGER_NAME` (`TRIGGER_NAME`,`TRIGGER_GROUP`),CONSTRAINT `QRTZ_SIMPLE_TRIGGERS_ibfk_1` FOREIGN KEY (`TRIGGER_NAME`, `TRIGGER_GROUP`) REFERENCES `QRTZ_TRIGGERS` (`TRIGGER_NAME`, `TRIGGER_GROUP`)) ENGINE=InnoDB DEFAULT CHARSET=utf8

 
CREATE TABLE `QRTZ_BLOB_TRIGGERS` (`TRIGGER_NAME` varchar(200) NOT NULL,`TRIGGER_GROUP` varchar(200) NOT NULL,`BLOB_DATA` blob,PRIMARY KEY (`TRIGGER_NAME`,`TRIGGER_GROUP`),KEY `TRIGGER_NAME` (`TRIGGER_NAME`,`TRIGGER_GROUP`), CONSTRAINT `QRTZ_BLOB_TRIGGERS_ibfk_1` FOREIGN KEY (`TRIGGER_NAME`, `TRIGGER_GROUP`) REFERENCES `QRTZ_TRIGGERS` (`TRIGGER_NAME`, `TRIGGER_GROUP`)) ENGINE=InnoDB DEFAULT CHARSET=utf8

 
CREATE TABLE `QRTZ_CALENDARS` (`CALENDAR_NAME` varchar(200) NOT NULL,`CALENDAR` blob NOT NULL, PRIMARY KEY (`CALENDAR_NAME`)) ENGINE=InnoDB DEFAULT CHARSET=utf8

CREATE TABLE `QRTZ_CRON_TRIGGERS` (`TRIGGER_NAME` varchar(200) NOT NULL,`TRIGGER_GROUP` varchar(200) NOT NULL,`CRON_EXPRESSION` varchar(120) NOT NULL,`TIME_ZONE_ID` varchar(80) DEFAULT NULL,PRIMARY KEY (`TRIGGER_NAME`,`TRIGGER_GROUP`),KEY `TRIGGER_NAME` (`TRIGGER_NAME`,`TRIGGER_GROUP`),CONSTRAINT `QRTZ_CRON_TRIGGERS_ibfk_1` FOREIGN KEY (`TRIGGER_NAME`, `TRIGGER_GROUP`) REFERENCES `QRTZ_TRIGGERS` (`TRIGGER_NAME`, `TRIGGER_GROUP`)) ENGINE=InnoDB DEFAULT CHARSET=utf8

 
CREATE TABLE `QRTZ_FIRED_TRIGGERS` (`ENTRY_ID` varchar(95) NOT NULL,`TRIGGER_NAME` varchar(200) NOT NULL,`TRIGGER_GROUP` varchar(200) NOT NULL,`IS_VOLATILE` varchar(1) NOT NULL,`INSTANCE_NAME` varchar(200) NOT NULL,`FIRED_TIME` bigint(13) NOT NULL,`PRIORITY` int(11) NOT NULL,`STATE` varchar(16) NOT NULL,`JOB_NAME` varchar(200) DEFAULT NULL,`JOB_GROUP` varchar(200) DEFAULT NULL,`IS_STATEFUL` varchar(1) DEFAULT NULL,`REQUESTS_RECOVERY` varchar(1) DEFAULT NULL, PRIMARY KEY (`ENTRY_ID`)) ENGINE=InnoDB DEFAULT CHARSET=utf8

 
INSERT INTO QRTZ_LOCKS VALUES ( 'CALENDAR_ACCESS' )
INSERT INTO QRTZ_LOCKS VALUES ( 'JOB_ACCESS' )
INSERT INTO QRTZ_LOCKS VALUES ( 'MISFIRE_ACCESS' )
INSERT INTO QRTZ_LOCKS VALUES ( 'STATE_ACCESS' )
INSERT INTO QRTZ_LOCKS VALUES ( 'TRIGGER_ACCESS' )
 
总结

 到此一切配置结束，剩下的就是具体的业务JobBean的开发了。当部署在多台机器上时，每个Job会动态分配在某一台机器执行。如果Job比较关键，在失败后需要重启，也可以配置

requestsRecovery 为 true来实现 任务重跑。 轻轻松松避免了单点故障和任务异常不可恢复问题。

参考文献

【1】 quartz集群原理  http://www.cnblogs.com/zhenyuyaodidiao/p/4755649.html

【2】 美团quartz集群实践 http://tech.meituan.com/mt-crm-quartz.html

【3】 quartz官网 http://www.quartz-scheduler.org/documentation/

转载于:https://www.cnblogs.com/ACRusher/p/5362935.html

dobq53331
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Quartz集群原理分析
不行就改名
05-30 8618
一、Quartz概念Quartz是一个优秀的任务调度框架， 具有以下特点：强大的调度功能，例如支持丰富多样的调度方法，可以满足各种常规及特殊需求；负载均衡高可用调度器：scheduler任务调度的控制器，负责定时任务的调度，并且提供任务和触发器的增删改查等api方法。任务：jobjob是实际被调度的任务，每个任务必须指定具体执行任务的实现类，实现类需要继承QuartzJobBean或者实现org....
分布式系统中的定时任务全解（三）
热门推荐
BuquTianya的专栏
06-19 1万+
如何使用elastic-job以及elastic-job的深度解析。
美团技术团队 Quartz应用与集群原理分析
liyongweihaha的专栏
07-16 5737
一、问题背景 美团CRM系统中每天有大量的后台任务需要调度执行，如构建索引、统计报表、周期同步数据等等，要求任务调度系统具备高可用性、负载均衡特性，可以管理并监控任务的执行流程，以保证任务的正确执行。 二、历史方案 美团CRM系统的任务调度模块经历了以下历史方案。 1. Crontab+SQL 每天晚上运行定时任务，通过SQL脚本+crontab方式执行，例如， #crm 0 2 *
集群化部署定时任务
caomiao2006的专栏
05-07 3874
如果将定时任务部署在一台服务器上，那么这个定时任务就是整个系统的单点，这台服务器出现故障的话会影响服务。对于可以冗余的任务（重复运行不影响服务），可以部署在多台服务器上，让他们同时执行，这样就可以很简单的避免单点。但是如果任务不允许冗余，最多只能有一台服务器执行任务，那么前面的方法显然行不通。本篇文章就向大家介绍如何避免这种互斥任务的单点问题，最后再介绍一下基于APScheduler的分布式定时任
Quatz定时任务
yy_2011的专栏
11-21 532
工程的pom.xml添加依赖 org.quartz-scheduler quartz-jobs 2.2.0 org.quartz-scheduler quartz 2.2.0 创建quatz.properties文件 #=====
使用Quartz整合Springboot搭建定时任务Demo
weixin_45528152的博客
07-26 221
使用Quartz整合Springboot搭建定时任务Demo
Quartz定时任务调度
qq_30595523的博客
02-11 1169
quartz原理及使用
Java定时任务解决方案Quartz
渔阳的博客
06-17 236
【代码】Java定时任务解决方案Quartz。
java定时任务quartz的基本实现
09-27
Quartz是Java领域中一个广泛使用的开源任务调度框架，它提供了丰富的功能来满足各种定时任务的需求。本篇文章将深入探讨Quartz的基本实现，以及如何在Java项目中运用它。 首先，Quartz的核心概念包括作业（Job）、...
Quartz任务调度的实战使用分析
01-03
Quartz是一款开源的作业调度框架，它允许开发者创建、组织和执行作业，这些作业可以是任何Java对象。...通过深入了解并实践Quartz，你可以将定时任务集成到你的项目中，提高系统的自动化程度和效率。
Quatz超详细教程（带实例）
08-10
Quartz是一款开源的作业调度框架，它为Java应用程序提供了强大且灵活的定时任务调度功能。在本教程中，我们将深入探讨...通过学习这个超详细教程，你可以熟练地利用Quartz来构建和管理定时任务，提升应用的自动化水平。
Pretty定时任务框架
12-03
你在找一个完整定时任务框架而烦恼吗？这里就是你的答案。它是史上最强大的定时任务框架。结合了最新技术。包括：groovy,maven,spring,quartz.里面许多动态加载动态执行的好的方法。最大的特点是配置大部分仅仅是一...
Quartz集群demo
08-13
在Java应用中，Quartz常被用来实现后台任务的自动化，比如定时发送邮件、数据备份或者执行维护任务等。集群（Clustering）是Quartz的一个重要特性，它增强了系统的可用性和可靠性，使得在一个分布式环境中，即使某一...
java定时任务框架quartz、elastic-job和xxl-job的分析对比(个人总结)
qq_34350584的博客
08-17 1324
(说明:开发中遇到需要做定时任务的需求，之前查阅了很多资料，比较杂乱，一直没有时间做个整理。第一版用的是quartz，能满足大部分功能，但是老大说要考虑到后期系统的健壮性和拓展性，quartz还是有很多局限的，综合考量下，决定用ealstic-job框架来重构，本文着重分析此框架。其中有很多内容是从其他人的博客中摘抄过来的，记不太清了，如有冒犯，请联系处理！) 概述 Quartz Java上的定时任务标准。但Quartz关注点在于定时任务而非数据，并无一套根据数据处理而定制化的流程。虽然Quartz可
【Spring框架】
最新发布
m0_71941456的博客
08-18 989
Spring框架的功能远不止于此，它还包括Spring MVC、Spring Data、Spring Security等多个模块，每个模块都有其独特的应用场景。
手撕快排——三种实现方法（附动图及源码）
jsjs1346的博客
08-16 945
🤖💻👨‍💻👩‍💻🌟🚀🤖🌟👨‍💻👩‍💻👨‍💻👩‍💻🚀是一种高效的排序算法，广泛应用于各种场景。它采用策略，将一个数组分成两个子数组，然后递归地对这两个子数组进行排序。本文将介绍三种快速排序的实现方法，并附上相应的源码。⚙️一、快速排序的基本原理一个基准元素（pivot）分成两个子数组递归合并O(n log n)O(n log n)O(n^2)后文我们将给出优化方案O(log n)📚三、实现霍尔方法是快速排序原始版本中使用的分区方法。
网上商品订单转手系统bootpf
weixin_43213064的博客
08-18 495
【代码】springboot网上商品订单转手系统bootpf
quatz与xxl-job
07-28
Quartz是一个Java上的定时任务标准，它专注于定时任务的调度和执行，但并没有提供根据数据处理而定制化的流程。Quartz可以基于数据库实现作业的高可用，但缺少分布式并行调度的功能。\[2\]而xxl-job是一个分布式任务...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值