quartz在集群环境下的最终解决方案

最新推荐文章于 2024-04-15 08:15:00 发布

ht111222

最新推荐文章于 2024-04-15 08:15:00 发布

阅读量1.5k

点赞数 1

分类专栏：架构设计文章标签： quartz 集群 bean spring triggers class

架构设计专栏收录该内容

19 篇文章 0 订阅

订阅专栏

在集群环境下，大家会碰到一直困扰的问题，即多个 APP 下如何用 quartz协调处理自动化JOB。

大家想象一下，现在有 A ， B，C3 台机器同时作为集群服务器对外统一提供SERVICE ：

A ， B ， C 3台机器上各有一个QUARTZ，他们会按照即定的SCHEDULE自动执行各自的任务。

我们先不说实现什么功能，就说这样的架构其实有点像多线程。

那多线程里就会存在“资源竞争”的问题，即可能产生脏读，脏写，由于三台 APP SERVER 里都有 QUARTZ ，因此会存在重复处理 TASK 的现象。

一般外面的解决方案是只在一台 APP 上装 QUARTZ，其它两台不装，这样集群就形同虚设了；

另一种解决方案是动代码，这样就要影响到原来已经写好的 QUARTZ JOB 的代码了，这对程序开发人员来说比较痛苦；

本人仔细看了一下 Spring的结构和QUARTZ的文档，结合Quartz自身可以实例化进数据的特性找到了相关的解决方案。

本方案优点：

1. 每台作为集群点的APP SERVER上都可以布署QUARTZ；

2. QUARTZ的TASK （ 12 张表）实例化如数据库，基于数据库引擎及High-Available的策略（集群的一种策略）自动协调每个节点的QUARTZ，当任一一节点的QUARTZ非正常关闭或出错时，另几个节点的QUARTZ会自动启动；

3. 无需开发人员更改原已经实现的QUARTZ，使用 SPRING+类反射的机制对原有程序作切面重构；

本人也事先搜索了一些资料，发觉所有目前在 GOOGLE 上或者在各大论坛里提供的解决方案，要么是只解决了一部分，要么是错误的，要么是版本太老，要么就是完全抄别人的。

尤其是在使用 QUARTZ+SPRING对数据库对象作实例化时会抛错（源于SPRING 的一个 BUG ），目前网上的解决方案全部是错的或者干脆没说，本人在此方案中也会提出如何解决。

解决方案：

1. 把QUARTZ的 TASK 实例化进数据库， QUARTZ 只有实例化进入数据库后才能做集群，外面的解决方案说实例化在内存里全部是错的，把quartz-1.8.4/docs/dbTables/tables_oracle.sql在ORACLE9I2及以上版本中执行一下会生成12张表；

2. 生成quartz.properties文件，把它放在工程的 src目录下，使其能够被编译时纳入 class path。

一般我们的开发人员都喜欢使用 SPRING+QUARTZ ，因此这个 quartz.properties 都不用怎么去写，但是在集群方案中 quartz.properties 必写，如果不写 quartz 会调用自身 jar 包中的 quartz.properties作为默认属性文件，同时修改quartz.xml文件。

Quartz.xml 文件的内容 :

<?xml version="1.0" encoding="UTF-8"?>

<!DOCTYPE beans PUBLIC "-//SPRING//DTD BEAN//EN" "http://www.springframework.org/dtd/spring-beans.dtd ">

<beans>

<bean id="mapScheduler" lazy-init="false" autowire="no"

class="org.springframework.scheduling.quartz.SchedulerFactoryBean">

<property name="configLocation" value="classpath:quartz.properties" />

<list>

</list>

</property>

<!— 就是下面这句，因为该 bean 只能使用类反射来重构

<property name="applicationContextSchedulerContextKey" value="applicationContext" />

</bean>

quartz.properties 文件的内容：

org.quartz.scheduler.instanceName = mapScheduler

org.quartz.scheduler.instanceId = AUTO

org.quartz.jobStore.class = org.quartz.impl.jdbcjobstore.JobStoreTX

org.quartz.jobStore.driverDelegateClass = org.quartz.impl.jdbcjobstore.oracle.weblogic.WebLogicOracleDelegate

org.quartz.jobStore.dataSource = myXADS

org.quartz.jobStore.tablePrefix = QRTZ_

org.quartz.jobStore.isClustered = true

org.quartz.dataSource.myXADS.jndiURL=jdbc/TestQuartzDS

org.quartz.dataSource.myXADS.jndiAlwaysLookup = DB_JNDI_ALWAYS_LOOKUP

org.quartz.dataSource.myXADS.java.naming.factory.initial = weblogic.jndi.WLInitialContextFactory

org.quartz.dataSource.myXADS.java.naming.provider.url = t3://localhost:7020

org.quartz.dataSource.myXADS.java.naming.security.principal = weblogic

org.quartz.dataSource.myXADS.java.naming.security.credentials = weblogic

3. 重写quartz的 QuartzJobBean类

原因是在使用 quartz+spring把quartz 的 task 实例化进入数据库时，会产生：serializable的错误，原因在于：

</property>

<value>execute</value>

</property>

</bean>

这个 MethodInvokingJobDetailFactoryBean类中的methodInvoking方法，是不支持序列化的，因此在把QUARTZ的 TASK 序列化进入数据库时就会抛错。网上有说把 SPRING 源码拿来，修改一下这个方案，然后再打包成 SPRING.jar 发布，这些都是不好的方法，是不安全的。

必须根据 QuartzJobBean来重写一个自己的类，然后使用SPRING把这个重写的类（我们就名命它为：MyDetailQuartzJobBean）注入appContext中后，再使用AOP 技术反射出原有的quartzJobx( 就是开发人员原来已经做好的用于执行QUARTZ 的 JOB 的执行类)。

下面来看 MyDetailQuartzJobBean类：

public class MyDetailQuartzJobBean extends QuartzJobBean {

protected final Log logger = LogFactory.getLog(getClass());

private String targetObject;

private String targetMethod;

private ApplicationContext ctx;

protected void executeInternal(JobExecutionContext context)

throws JobExecutionException {

try {

logger.info("execute [" + targetObject + "] at once>>>>>>");

Object otargetObject = ctx.getBean(targetObject);

Method m = null;

try {

m = otargetObject.getClass().getMethod(targetMethod,

new Class[] {});

m.invoke(otargetObject, new Object[] {});

} catch (SecurityException e) {

logger.error(e);

} catch (NoSuchMethodException e) {

logger.error(e);

}

} catch (Exception e) {

throw new JobExecutionException(e);

}

public void setApplicationContext(ApplicationContext applicationContext){

this.ctx=applicationContext;

}

public void setTargetObject(String targetObject) {

this.targetObject = targetObject;

}

public void setTargetMethod(String targetMethod) {

this.targetMethod = targetMethod;

}

再来看完整的 quartz.xml （注意红色加粗部分尤为重要）：

<?xml version="1.0" encoding="UTF-8"?>

<!DOCTYPE beans PUBLIC "-//SPRING//DTD BEAN//EN" "http://www.springframework.org/dtd/spring-beans.dtd ">

<beans>

<bean id="mapScheduler" lazy-init="false" autowire="no"

class="org.springframework.scheduling.quartz.SchedulerFactoryBean">

<property name="configLocation" value="classpath:quartz.properties" />

<list>

</list>

</property>

</bean>

</bean>

<bean id="jobTask" class="org.springframework.scheduling.quartz.JobDetailBean">

<property name="jobClass">

<value>com.testcompany.framework.quartz.MyDetailQuartzJobBean</value>

</property>

<property name="jobDataAsMap">

<map>

<entry key="quartzJob" value="quartzJob" />

<entry key="targetMethod" value="execute" />

</map>

</property>

</bean>

</property>

</property>

</bean>

</beans>

4. 下载最新的quartz1.8版，把quartz-all-1.8.4.jar, quartz-oracle-1.8.4.jar,quartz-weblogic-1.8.4.jar这三个包放到web-inf/lib目录下，布署。

测试：

几个节点都带有 quartz任务，此时只有一台quartz在运行，另几个节点上的quartz没有运行。

此时手动 shutdown那台运行QUARTZ（在程序里加system.out.println(“execute once…”),运行quartz 的那个节点在后台会打印execute once ）的节点，过了7 秒左右，另一个节点的quartz自动监测到了集群中运行着的quartz的 instance 已经 shutdown ，因此 quartz 集群会自动把任一台可用的 APP 上启动起一个 quartz job 的任务。