Spring+quartz集群解决多服务器部署定时器重复执行的问题

一、问题描述

 

Spring自带的Task虽然能很好使用定时任务,只需要做些简单的配置就可以了。不过如果部署在多台服务器上的时候,这样定时任务会在每台服务器都会执行,造成重复执行。

 

 

 

 

 

二、解决方案

 

 

Spring+quartz集群可以解决多服务器部署定时器重复执行的问题。

 

 

 

 

 

1、下载quartz的Jar包或者在Maven项目加入quartz的依赖包

 

 

不再细说,详情可参考:

 

 

Spring4整合quartz2.2定时任务:http://fanshuyao.iteye.com/blog/2309223

 

 

 

 

 

2、建立quartz表

 

 

quartz是通过表来实现多服务器定时任务集群的,表的详细信息在压缩包:quartz-2.2.3-distribution.tar.gz,

 

 

路径为:quartz-2.2.3-distribution\quartz-2.2.3\docs\dbTables

 

 

这里有很多表的SQL可执行语句,直接复制执行即可。

 

 

其中附件有quartz-2.2.3-distribution.tar.gz,是2016-07-07最新的。

 

 

 

 

 

本人使用的是Mysql,执行的是tables_mysql_innodb.sql,另外一个tables_mysql.sql没执行,看都没有看,哈哈。

 

 

注:最好先建完表,再执行后面的索引,不然会有警告。

 

 

里面的表详细本人也不了解,就不说了,百度或Google吧。

 

 

 

 

 

3、新增一个Bean文件(spring-quartz.xml),如下:

 

 

 

 

 

Xml代码  

 

 

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd">

	<!-- 配置任务bean类 -->
	<bean id="quartzTask" class="com.lqy.spring.task.QuartzTask"></bean>
	
	<!-- 配置方法映射工厂类 -->
	<!-- MethodInvokingJobDetailFactoryBean不支持序列化 -->
	<!-- <bean id="jobDetail" class="org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean">
		<property name="targetObject" ref="quartzTask"></property>
		<property name="targetMethod" value="startTask"></property>
		<property name="concurrent" value="false"></property>
		concurrent : false表示等上一个任务执行完后再开启新的任务
	</bean> -->
	<!-- 配置方法映射工厂类 -->
	<bean id="jobDetail" class="org.springframework.scheduling.quartz.JobDetailFactoryBean">
	    <property name="jobClass" value="com.lqy.spring.task.QuartzTaskExtends"></property>
	    <property name="durability" value="true"></property>
	    <property name="requestsRecovery" value="true" /> 
	</bean>
	
	<!-- 配置任务高度的的时间/周期 -->
	<bean id="jobTrigger" class="org.springframework.scheduling.quartz.CronTriggerFactoryBean">
		<property name="jobDetail" ref="jobDetail"></property>
		<property name="cronExpression" value="0 */1 * * * ?"></property>
		<!-- <property name="startDelay" value="3000"></property> -->
	</bean>
	
	<bean id="schedulerFactoryBean" class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
		<property name="dataSource" ref="dataSource"></property>  
		<!--可选,QuartzScheduler 启动时更新己存在的Job,这样就不用每次修改targetObject后删除qrtz_job_details表对应记录了 -->    
        <property name="overwriteExistingJobs" value="true" />    
         <!--必须的,QuartzScheduler 延时启动,应用启动完后 QuartzScheduler 再启动 -->  
        <property name="startupDelay" value="30" />  
        <!-- 设置自动启动 -->  
        <property name="autoStartup" value="true" />
        <property name="applicationContextSchedulerContextKey" value="applicationContextKey" />  
        <property name="configLocation" value="classpath:spring-quartz.properties" />  
		<property name="triggers">
			<list>
				<ref bean="jobTrigger"/>
			</list>
		</property>
	</bean>
	
</beans>

 

 

 

 

 

spring-quartz.xml文件里面主要配置的是定时任务

 

 

 

 

 

其中和一般Spring整合quartz定时任务不同的是:

 

 

(1)使用数据源:

 

 

在Bean id="schedulerFactoryBean"中使用了数据源:

 

 

Xml代码  

 

 

<property name="dataSource" ref="dataSource"></property>  

 

 

 数据源dataSource是在Spring.xml文件配置的。

 

 

 

 

 

(2)jobDetail使用的是org.springframework.scheduling.quartz.JobDetailFactoryBean

 

 

由于集群需要把定时任务的信息写入表,需要序列化吧,但MethodInvokingJobDetailFactoryBean 不能序列化,会报错。

 

 

 

 

 

(3)增加spring-quartz.properties文件

 

 

Xml代码  

 

 

#==============================================================  
#Configure Main Scheduler Properties  
#==============================================================   
org.quartz.scheduler.instanceName = defaultScheduler
org.quartz.scheduler.instanceId = AUTO

#==============================================================  
#Configure JobStore  
#============================================================== 
org.quartz.jobStore.class = org.quartz.impl.jdbcjobstore.JobStoreTX
org.quartz.jobStore.driverDelegateClass = org.quartz.impl.jdbcjobstore.StdJDBCDelegate
org.quartz.jobStore.tablePrefix = QRTZ_
org.quartz.jobStore.isClustered = true
org.quartz.jobStore.clusterCheckinInterval = 20000  
org.quartz.jobStore.dataSource = myDS
org.quartz.jobStore.maxMisfiresToHandleAtATime = 1
org.quartz.jobStore.misfireThreshold = 120000
org.quartz.jobStore.txIsolationLevelSerializable = true
 
#==============================================================  
#Configure ThreadPool  
#============================================================== 
org.quartz.threadPool.class = org.quartz.simpl.SimpleThreadPool
org.quartz.threadPool.threadCount = 10
org.quartz.threadPool.threadPriority = 5
org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread = true

#==============================================================
#Skip Check Update
#update:true
#not update:false
#==============================================================
org.quartz.scheduler.skipUpdateCheck = true 

#============================================================================   
# Configure Plugins    
#============================================================================      
org.quartz.plugin.triggHistory.class = org.quartz.plugins.history.LoggingJobHistoryPlugin   
org.quartz.plugin.shutdownhook.class = org.quartz.plugins.management.ShutdownHookPlugin
org.quartz.plugin.shutdownhook.cleanShutdown = true

 

 

 

 

 

这个配置文件也是Quartz的配置文件,本人也不了解,只是从网上搜索来的。本来是有数据库的连接配置的,但由于spring配置文件已经有数据源,我就删除掉了。

 

 

 

 

 

4、把上面的spring-quartz.xml 引入到spring.xml文件中:

 

 

Xml代码  

 

 

<import resource="spring-quartz.xml"/>

 

 

 或者在web.xml文件加上,这种方法没有尝试,但应该是可以的:

 

 

Xml代码

 

 

<context-param>
    <param-name>contextConfigLocation</param-name>
    <param-value>classpath:spring.xml,classpath:spring-quartz.xml</param-value>
</context-param>

 

 

 

 

 

5、把项目部署到集群环境中

 

 

其实就是把项目部署到2个Tomcat中,这样能看到定时任务是否重复执行。

 

 

Tomcat+Nginx集群详情见:http://fanshuyao.iteye.com/blog/2309601

 

 

 

 

 

6、启动所有Tomcat,看结果,如下:

 

 

 

 
 


 由图可见:定时器是每分钟的0秒执行一次

 

 

 

在2个Tomcat中,分别是一个tomcat执行一次,另一个tomcat执行一次,没有重复执行,这样就达到了定时器的集群效果,成功。

 

 

想到的其他方案

 

 

1.全局锁机制

 

 

   对于只需要执行一次初始化的操作,在全局缓存中设置一个全局锁,拿到这个锁的节点执行相应的任务。

 

 

2.数据库层面的状态标记

 

 

  对于有些定时任务,我们只希望执行一次,也就是说多个节点,只有一个节点在执行这个定时任务

 

 

  可以在数据库对这个任务进行状态标记,根据状态来调节节点间定时任务的执行

 

 

3.代码分离

 

 

  如果有可能,将定时任务独立出来,成为一个单独的项目工程,部署单节点,避免集群部署

4.设置执行定时任务的机器名,在代码中判断

 

 

转自https://blog.csdn.net/edward1987815/article/details/80417564

转载于:https://www.cnblogs.com/h-c-g/p/10748640.html

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值