任务调度框架(3)Quartz 简单使用

简介与概述

组件概述

  1. Job:一个任务,可以包括有状态与无状态。
  • 有状态是指 StatefulJob,不能并发的执行,需要使用注释@DisallowConcurrentExecution
  • 而无状态的Job可以并发的执行。
  • 如每2分钟执行一个任务,某种情况下这个任务执行了3分钟,这样在上一个任务还在执行状态时,下一次触发时间已经到了。无状态的Job,只要触发一到就会立即执行两个任务并发运行,而有状态的Job不能并发执行。
  1. JobDetail:Job实例所包含的属性。JobDataMap 可以作为Job实例执行时使用的数据对象。
  2. Triggers:触发器。最常用的有 SimpleTriggerCronTrigger
  • 优先级(priority)
  • 错过触发(misfire Instructions)
  • 日历示例(calendar)
  • 监听器(TriggerListeners)
  1. Scheduler:任务执行器。可以通过 SchedulerFactory 创建,主要是StdSchedulerFactory,其使用一组属性Properties来创建和初始化 Quartz Scheduler
  2. Job Stores:负责跟踪提供给调度程序的所有工作数据如 jobs,triggers,日历等。主要有RAMJobStoreJDBC JobStore
  3. SchedulerPlugin:Quartz提供了一个用于插入附加功能的接口插件。
  4. JobFactory:当trigger触发时,通过Scheduler上配置的JobFactory实例化与之关联的jobs

API 概述

  1. 创建JOb
  • JobKey 一个Job任务的唯一Key
  • JobDetail 代表一个 JOb 的封装
  • storeDurably Durability 属性,如果一个job是非持久的,当没有活跃的trigger与之关联的时候,会被自动地从scheduler中删除
  • requestRecovery 如果一个job是可恢复的,并且在其执行的时候,scheduler发生硬关闭(hard shutdown),则当scheduler重新启动的时候,该job会被重新执行。这种情况下,JobExecutionContext.isRecovering() 方法将会返回 true
JobKey jobKey = JobKey.jobKey("", "");
JobDetail jobDetail = JobBuilder.newJob(SimpleJob.class)
        .withIdentity(jobKey)
        .usingJobData("key", "value")
        .storeDurably() 
        .requestRecovery() 
        .build();

jobDetail.getJobDataMap().put("key2", "value2");
  1. 创建触发器
  • SimpleScheduleBuilder 创建 SimpleTrigger
  • CronScheduleBuilder 创建 CronTrigger
  • MISFIRE_INSTRUCTION Misfire 机制,默认是 CronTrigger.MISFIRE_INSTRUCTION_SMART_POLICY;
# 创建 SimpleTrigger
TriggerKey triggerKey = TriggerKey.triggerKey("", "");
SimpleScheduleBuilder scheduleBuilder = SimpleScheduleBuilder
        .simpleSchedule()
        .withIntervalInSeconds(2)
        .withRepeatCount(100)
        .withMisfireHandlingInstructionFireNow();

SimpleTrigger trigger = TriggerBuilder.newTrigger()
        .withIdentity(triggerKey)
        .startNow()
        .withSchedule(scheduleBuilder)
        .modifiedByCalendar("") // Calendar用于从trigger的调度计划中排除时间段。处理一些节假日排除
        .withPriority(Trigger.DEFAULT_PRIORITY) // 优先级
        .build();

# 创建 CronTrigger
TriggerKey triggerKey = TriggerKey.triggerKey("CronTrigger", "CronTrigger_group");
CronScheduleBuilder cronScheduleBuilder = CronScheduleBuilder.cronSchedule("*/10 * * * * * ?");

// // Misfire 机制,默认是 CronTrigger.MISFIRE_INSTRUCTION_SMART_POLICY;
cronScheduleBuilder.withMisfireHandlingInstructionFireAndProceed();

CronTrigger cronTrigger = TriggerBuilder.newTrigger()
        .withIdentity(triggerKey)
        .startNow()
        .withSchedule(cronScheduleBuilder)
        .build();
  1. 创建任务调度器
SchedulerFactory schedulerFactory = new StdSchedulerFactory();
((StdSchedulerFactory) schedulerFactory).initialize(quartzProperties());// 初始化参数

Scheduler scheduler = schedulerFactory.getScheduler();
scheduler.scheduleJob(jobDetail, cronTrigger);

常用配置概述

配置名称备注
org.quartz.scheduler.instanceName本身没有意义,而是作为客户端代码在同一程序中使用多个实例时区分调度程序的机制。可以自定义为任务字符串
org.quartz.scheduler.instanceId唯一的。如果希望为您生成Id,则可以使用值"AUTO"。
org.quartz.threadPool.class是要使用的 ThreadPool 的类名。Quartz 附带的线程池是 org.quartz.simpl.SimpleThreadPool,spring 可以使用 SimpleThreadPoolTaskExecutor。这只是一个简单的实现,需要使用 threadCount 确定体局的值
org.quartz.threadPool.threadCount线程池大小
org.quartz.threadPool.threadPriority优先级
org.quartz.jobStore.classJobStore 配置。一般基于内存的org.quartz.simpl.RAMJobStore和基于JDBC的org.quartz.impl.jdbcjobstore.JobStoreTX
org.quartz.jobStore.driverDelegateClass配合org.quartz.jobStore.class 的JDBCStore使用,org.quartz.impl.jdbcjobstore.StdJDBCDelegate
org.quartz.jobStore.tablePrefix表前缀,jsbcstore使用 如QRTZ_
org.quartz.jobStore.isClustered集群使用设置为 true
org.quartz.jobStore.clusterCheckinInterval集群检查,如 20000
org.quartz.jobStore.dataSource数据库的 dataSource 名称,随便取名,但是在配置数据库时需要一致:如 org.quartz.dataSource.myDS.driver
org.quartz.plugin.triggHistory.class插件配置,org.quartz.plugins.history.LoggingJobHistoryPlugin

集成 Spring

Quartz 集成Spring 依赖spring context 与 context-support 模块,需要引入 Quartz 依赖:

<!--Quartz-->
<dependency>
    <groupId>org.quartz-scheduler</groupId>
    <artifactId>quartz</artifactId>
    <version>2.2.1</version>
</dependency>
<dependency>
    <groupId>org.quartz-scheduler</groupId>
    <artifactId>quartz-jobs</artifactId>
    <version>2.2.1</version>
</dependency>

Xml 配置实现

  1. 定义任务
  • Job:任务接口
public class MyJob implements Job {
    @Override
    public void execute(JobExecutionContext jobExecutionContext) throws JobExecutionException {
        System.out.println("MyJob");
    }
}
  1. 配置任务
  • JobDetailFactoryBean实现,任务必须实现Job 接口。可以实现 spring 实现的 QuartzJobBean
  • MethodInvokingJobDetailFactoryBean 实现,可以指定任意类的任意方法
# JobDetailFactoryBean 实现,MyJob必须实现 Job 接口或者继承 QuartzJobBean 类
<bean id="jobDetail" class="org.springframework.scheduling.quartz.JobDetailFactoryBean">
    <property name="jobClass" value="com.learning.job.schedule.quartz.spring.xml.MyJob"/>
    <property name="jobDataAsMap">
        <map>
            <entry key="name" value="Quartz"/>
        </map>
    </property>
</bean>

# MethodInvokingJobDetailFactoryBean 实现,可以指定任意类的任意方法
<bean id="myMethodJob" class="com.learning.job.schedule.quartz.spring.xml.MyMethodJob"/>
<bean id="jobDetail2" class="org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean">
    <property name="group" value="job_work"/>
    <property name="name" value="job_work_name"/>
    <!--false 表示等上一个任务执行完后再开启新的任务-->
    <property name="concurrent" value="false"/>
    <property name="targetObject" ref="myMethodJob"/>
    <property name="targetMethod" ref="execute"/>
</bean>
  1. 配置触发器
  • CronTriggerFactoryBean cronTrigger 调度触发器配置
  • SimpleTriggerFactoryBean simpleTrigger 简单触发器配置
  • jobDetail 属性指定Job 任务
# cronTrigger 调度触发器
<bean id="cronTrigger" class="org.springframework.scheduling.quartz.CronTriggerFactoryBean">
    <property name="name" value="work_default_name"/>
    <property name="group" value="work_default"/>
    <property name="jobDetail" ref="jobDetail"/>
    <property name="cronExpression" value="0/5 * * * * ?"/>
</bean>

# simpleTrigger 简单触发器
<bean id="simpleTrigger" class="org.springframework.scheduling.quartz.SimpleTriggerFactoryBean">
    <property name="name" value="work_default_name"/>
    <property name="group" value="work_default"/>
    <property name="jobDetail" ref="jobDetail2"/>
    <property name="repeatInterval" value="1000"/>
    <property name="repeatCount" value="200"/>
</bean>
  1. 配置调度工厂 SchedulerFactoryBean
  • configLocation 指定配置文件地址
  • triggers 指定触发器
  • autoStartup 是否自动启动
  • startupDelay 延迟启动,建议是true,这样调度器会在应用启动后在启动。
<bean id="scheduler" class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
    <property name="autoStartup" value="false"/>
    <property name="triggers">
        <list>
            <ref bean="simpleTrigger"/>
            <ref bean="cronTrigger"/>
        </list>
    </property>
    <property name="configLocation" value="classpath*:"
    <property name="startupDelay" value="20"/>
</bean>

JavaConfig 实现

  1. 定义任务
  • QuartzJobBean Spring 实现的Job父类
@Component
public class MyBootJob extends QuartzJobBean {
    @Override
    protected void executeInternal(JobExecutionContext context) throws JobExecutionException {
        System.out.println("~~ MyBootJob ~~");
    }
}

@Component
public class MyBootMethodJob {
    public void exe() {
        System.out.println("~~ MyBootMethodJob ~~");
    }
}
  1. 配置任务
  • @EnableScheduling 启动定时任务
  • JobDetailFactoryBean 配置任务
@Bean
public JobDetailFactoryBean jobDetailFactoryBean(MyBootJob job) {
    JobDetailFactoryBean factoryBean = new JobDetailFactoryBean();
    factoryBean.setJobClass(job.getClass());
    factoryBean.setRequestsRecovery(true);
    factoryBean.setDurability(true);
    // 额外参数
    factoryBean.setJobDataAsMap(new HashMap<>());
    return factoryBean;
}

@Bean
public MethodInvokingJobDetailFactoryBean myFirstExerciseJobBean(MyBootMethodJob job) {
    MethodInvokingJobDetailFactoryBean jobDetail = new MethodInvokingJobDetailFactoryBean();
    jobDetail.setConcurrent(false); // 是否并发
    jobDetail.setName("general-myFirstExerciseJob"); // 任务的名字
    jobDetail.setGroup("general"); // 任务的分组
    jobDetail.setTargetObject(job); // 被执行的对象
    jobDetail.setTargetMethod("exe"); // 被执行的方法
    return jobDetail;
}

  1. 配置触发器
@Bean
public SimpleTriggerFactoryBean simpleTriggerFactoryBean(JobDetailFactoryBean jobDetailFactoryBean) {
    SimpleTriggerFactoryBean tigger = new SimpleTriggerFactoryBean();
    tigger.setJobDetail(jobDetailFactoryBean.getObject());
    tigger.setRepeatInterval(1000L);
    tigger.setRepeatCount(5);
    return tigger;
}

@Bean
public CronTriggerFactoryBean cronTriggerFactoryBean(MethodInvokingJobDetailFactoryBean myFirstExerciseJobBean) {
    CronTriggerFactoryBean tigger = new CronTriggerFactoryBean();
    tigger.setJobDetail(myFirstExerciseJobBean.getObject());
    tigger.setCronExpression("0/10 * * * * ?");
    return tigger;
}
  1. 配置调度工厂
@Bean
public SchedulerFactoryBean schedulerFactory(SimpleTriggerFactoryBean simpleTriggerFactoryBean,
                                             CronTriggerFactoryBean cronTriggerFactoryBean) {
    SchedulerFactoryBean bean = new SchedulerFactoryBean();
    // 覆盖已存在的任务,用于集群配置
    bean.setOverwriteExistingJobs(true);
    // 延时启动定时任务,避免系统未完全启动却开始执行定时任务的情况
    bean.setStartupDelay(15);
    // 注册触发器
    bean.setTriggers(simpleTriggerFactoryBean.getObject(), cronTriggerFactoryBean.getObject());
    return bean;
}

集成Spring Boot

  1. Spring Boot 2.X以后有默认的配置项类 QuartzPropertiesQuartzAutoConfiguration,简单配置了一些属性,主要是调度工厂的配置。可以使用这些配置,替换 SchedulerFactoryBean的配置。
spring:
  quartz:
    job-store-type: jdbc
    auto-startup: true
    startup-delay: 20s
    wait-for-jobs-to-complete-on-shutdown: true
  1. 源码 QuartzAutoConfiguration 中默认配置了 SchedulerFactoryBean 对象,源码如下:
@Bean
@ConditionalOnMissingBean
public SchedulerFactoryBean quartzScheduler() {
	SchedulerFactoryBean schedulerFactoryBean = new SchedulerFactoryBean();
	SpringBeanJobFactory jobFactory = new SpringBeanJobFactory();
	jobFactory.setApplicationContext(this.applicationContext);
	schedulerFactoryBean.setJobFactory(jobFactory);
	if (this.properties.getSchedulerName() != null) {
		schedulerFactoryBean.setSchedulerName(this.properties.getSchedulerName());
	}
	schedulerFactoryBean.setAutoStartup(this.properties.isAutoStartup());
	schedulerFactoryBean
			.setStartupDelay((int) this.properties.getStartupDelay().getSeconds());
	schedulerFactoryBean.setWaitForJobsToCompleteOnShutdown(
			this.properties.isWaitForJobsToCompleteOnShutdown());
	schedulerFactoryBean
			.setOverwriteExistingJobs(this.properties.isOverwriteExistingJobs());
	if (!this.properties.getProperties().isEmpty()) {
		schedulerFactoryBean
				.setQuartzProperties(asProperties(this.properties.getProperties()));
	}
	if (this.jobDetails != null && this.jobDetails.length > 0) {
		schedulerFactoryBean.setJobDetails(this.jobDetails);
	}
	if (this.calendars != null && !this.calendars.isEmpty()) {
		schedulerFactoryBean.setCalendars(this.calendars);
	}
	if (this.triggers != null && this.triggers.length > 0) {
		schedulerFactoryBean.setTriggers(this.triggers);
	}
	customize(schedulerFactoryBean);
	return schedulerFactoryBean;
}

使用经验

  1. 手动设置线程池的大小。在Quartz中默认的线程池实现SimpleThreadPool,需要通过org.quartz.threadPool.threadCount 属性指定线程池初始化时的大小,设定后不能修改。

  2. 与 spring 集成时,如果使用 JdbcStore,那么Job任务需要实现Job配置需要使用JobDetailFactoryBean,不能使用MethodInvokingJobDetailFactoryBean,同时建议任务继承 QuartzJobBean

  3. 在Job 中想通过依赖注入获取 Bean 实例,需要重写 JobFactory。并且通过 SchedulerFactoryBean 指定。其实Spring有实现,如 SpringBeanJobFactoryAutowireCapableBeanJobFactory。参考 spring boot 实现自动配置的 SchedulerFactoryBean(2.x 版本)

  4. 定时任务错过执行的原因

  • 系统重启,在重启的时间内,与偶可能任务被 misfired
  • 在 Trigger 在暂停的一段时间内(suspend),有些任务被 misfired
  • 线程池中所有线程都被占用,导致任务无法执行,造成 misfired
  • 有状态的任务在下次触发到达时,上次还没有结束
  1. misfired 处理方法:Quartz 为 Trigger 定义了处理策略,主要有两种,建议可以在应用中,让用户选择
  • CronTrigger#MISFIRE_INSTRUCTION_FIRE_ONCE_NOW:针对 misfired 的任务马上执行一次
  • CronTrigger#MISFIRE_INSTRUCTION_DO_NOTHING:忽略 misfired 的任务,等待下次触发
  1. 继承 QuartzJobBean或者Job的任务是没有状态的,支持并发的运行。集成Spring的任务默认是没有状态的,可以使用配置或者注解设置成有状态的任务
  • 配置:<property name="concurrent" value="false" /> 禁止并发
  • 注解:添加到 Job 类
    • @DisallowConcurrentExecution:注意这个注解的约束是基于 JobDetail 的而不是基于 Job 的。如同一个Job类,配置了不同的JobDetail,无效。
    • @PersistJobDataAfterExecution:表示 Quartz 将会在成功执行 execute() 方法后(没有抛出异常)更新 JobDetail 的 JobDataMap,下一次执行相同的任务(JobDetail)将会得到更新后的值,而不是原始的值。就像@DisallowConcurrentExecution 一样,这个注释基于 JobDetail 而不是 Job 类的实例
    • 如果使用了 @PersistJobDataAfterExecution 注释,那么强烈建议使用 @DisallowConcurrentExecution 注释,这是为了避免出现并发问题,当多个 Job 实例同时执行的时候,到底使用了哪个数据将变得很混乱。StatefulJob 就标注了这两个注解
  1. JobExecutionException
    任务的执行方法,默认是Job.execute(…)方法(继承 QuartzJobBean 类后是 executeInternal() 方法)。这个方法只允许抛出一种异常是JobExecutionException。需要花点时间看看 JobExecutionException 的文档,可以使用该异常它提供的各种指令来控制如何处理异常,如立即执行或者任务终止。
  • JobExecutionException.setRefireImmediately(true) 立即执行( this job will refire immediately)
  • JobExecutionException.setUnscheduleAllTriggers(true) 立即停止所有相关这个任务的触发器,表示 Quartz 会自动取消所有与这个 job 有关的 trigger,从而避免再次运行 job

参考

  1. 源码地址 Learning_Job_Schedule
  2. w3cschool 教程
  3. 与Web 应用结合,实现任务的动态管理
  • 2
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于xxl-job改造,支持1.6jdk。改分布式任务调度特性如下: 1、简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手; 2、动态:支持动态修改任务状态、暂停/恢复任务,以及终止运行中任务,即时生效; 3、调度中心HA(中心式):调度采用中心式设计,“调度中心”基于集群Quartz实现,可保证调度中心HA; 4、执行器HA(分布式):任务分布式执行,任务"执行器"支持集群部署,可保证任务执行HA; 5、任务Failover:执行器集群部署时,任务路由策略选择"故障转移"情况下调度失败时将会平滑切换执行器进行Failover; 6、一致性:“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行; 7、自定义任务参数:支持在线配置调度任务入参,即时生效; 8、调度线程池:调度系统多线程触发调度运行,确保调度精确执行,不被堵塞; 9、弹性扩容缩容:一旦有新执行器机器上线或者下线,下次调度时将会重新分配任务; 10、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件; 11、状态监控:支持实时监控任务进度; 12、Rolling执行日志:支持在线查看调度结果,并且支持以Rolling方式实时查看执行器输出的完整的执行日志; 13、GLUE:提供Web IDE,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持30个版本的历史版本回溯。 14、数据加密:调度中心和执行器之间的通讯进行数据加密,提升调度信息安全性; 15、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔;
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值