Quartz的使用

1. driver=com.mysql.jdbc.Driver      
2. url=jdbc:mysql://xxx.xxx.xx.xx:3306/xxx      
3. user=xxxxxxxxxxx     
4. password=xxxxxxxxxx  

driver=com.mysql.jdbc.Driver   
url=jdbc:mysql://xxx.xxx.xx.xx:3306/xxx   
user=xxxxxxxxxxx  
password=xxxxxxxxxx

源数据库配置文件

Java代码

1. driver=com.mysql.jdbc.Driver      
2. url=jdbc:mysql://localhost:3306/customer      
3. user=root     
4. password=root  

driver=com.mysql.jdbc.Driver   
url=jdbc:mysql://localhost:3306/customer   
user=root  
password=root

目标数据库配置文件

接下来，要做一个数据库连接通用工厂，用来获得连接和在操作结束后释放连接，代码如下

Java代码

1. package com.bj58.job.utils;   
2.   
3. import java.sql.Connection;   
4. import java.sql.DriverManager;   
5. import java.sql.PreparedStatement;   
6. import java.sql.ResultSet;   
7. import java.sql.SQLException;   
8. import java.util.Properties;   
9.   
10.   
11. /**  
12.  * 通用数据库连接工厂  
13.  * @author zhangwan@58.com  
14.  * Jun 8, 2010  
15.  *  
16.  */  
17. public final class ConnectionFactory_DB_src {   
18.     private static String url;   
19.     private static String driver;   
20.     private static String user;   
21.     private static String password;   
22.   
23.     private ConnectionFactory_DB_src() {   
24.     }   
25.   
26.     static {   
27.         try {   
28.             Properties props = new Properties();   
29.   
30.             props.load(ConnectionFactory_DB_src.class.getClassLoader()   
31.                     .getResourceAsStream("db_src.properties")); // 得到当前类的类加载器,以流的方式读取配置文件   
32.   
33.             driver = props.getProperty("driver").trim();   
34.             url = props.getProperty("url").trim();   
35.             user = props.getProperty("user").trim();   
36.             password = props.getProperty("password").trim();   
37.             Class.forName(driver); // 加载驱动程序   
38.   
39.         } catch (Exception e) {   
40.             e.printStackTrace();   
41.         }   
42.   
43.     }   
44.   
45.     /**  
46.      * 获取Connection连接  
47.      * @return  
48.      */  
49.     public static Connection getConnection() {   
50.         try {   
51.             Connection conn = DriverManager.getConnection(url, user, password);   
52.             return conn;   
53.         } catch (Exception e) {   
54.             throw new RuntimeException(e);   
55.         }   
56.     }   
57.   
58.     /**  
59.      * 释放连接资源  
60.      * @param rs  
61.      * @param pstmt  
62.      * @param conn  
63.      */  
64.     public static void free(ResultSet rs, PreparedStatement pstmt, Connection conn) {   
65.         try {   
66.             if (rs != null) {   
67.                 rs.close();   
68.             }   
69.         } catch (SQLException e) {   
70.             e.printStackTrace();   
71.         } finally {   
72.             try {   
73.                 if (pstmt != null) {   
74.                     pstmt.close();   
75.                 }   
76.             } catch (SQLException e) {   
77.                 e.printStackTrace();   
78.             } finally {   
79.                 try {   
80.                     if (conn != null) {   
81.                         conn.close();   
82.                     }   
83.                 } catch (SQLException e) {   
84.                     e.printStackTrace();   
85.                 }   
86.             }   
87.         }   
88.     }   
89. }  

package com.bj58.job.utils;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.Properties;


/**
 * 通用数据库连接工厂
 * @author zhangwan@58.com
 * Jun 8, 2010
 *
 */
public final class ConnectionFactory_DB_src {
	private static String url;
	private static String driver;
	private static String user;
	private static String password;

	private ConnectionFactory_DB_src() {
	}

	static {
		try {
			Properties props = new Properties();

			props.load(ConnectionFactory_DB_src.class.getClassLoader()
					.getResourceAsStream("db_src.properties")); // 得到当前类的类加载器,以流的方式读取配置文件

			driver = props.getProperty("driver").trim();
			url = props.getProperty("url").trim();
			user = props.getProperty("user").trim();
			password = props.getProperty("password").trim();
			Class.forName(driver); // 加载驱动程序

		} catch (Exception e) {
			e.printStackTrace();
		}

	}

	/**
	 * 获取Connection连接
	 * @return
	 */
	public static Connection getConnection() {
		try {
			Connection conn = DriverManager.getConnection(url, user, password);
			return conn;
		} catch (Exception e) {
			throw new RuntimeException(e);
		}
	}

	/**
	 * 释放连接资源
	 * @param rs
	 * @param pstmt
	 * @param conn
	 */
	public static void free(ResultSet rs, PreparedStatement pstmt, Connection conn) {
		try {
			if (rs != null) {
				rs.close();
			}
		} catch (SQLException e) {
			e.printStackTrace();
		} finally {
			try {
				if (pstmt != null) {
					pstmt.close();
				}
			} catch (SQLException e) {
				e.printStackTrace();
			} finally {
				try {
					if (conn != null) {
						conn.close();
					}
				} catch (SQLException e) {
					e.printStackTrace();
				}
			}
		}
	}
}

这个是用来获取源数据库连接的，目标的和这个是一样的，这里就不再赘述了。

接下来就要做QuartzJob定时任务类了，这个类要实现的是Job接口，然后重写execute方法，方法中就是执行你具体要做的事情了。不过首先需要一个配置文件，里面定义了一些参数，是Quartz的一些配置。配置文件如下

Java代码

1. #============================================================================   
2. # Configure Main Scheduler Properties     
3. #============================================================================   
4. org.quartz.scheduler.instanceName = QuartzScheduler   
5. org.quartz.scheduler.instanceId = AUTO   
6.   
7. #============================================================================   
8. # Configure ThreadPool     
9. #============================================================================   
10. org.quartz.threadPool.class = org.quartz.simpl.SimpleThreadPool   
11. org.quartz.threadPool.threadCount = 3  
12. org.quartz.threadPool.threadPriority = 5  
13.   
14. #===============================================================   
15. #Configure JobStore   
16. #===============================================================   
17. org.quartz.jobStore.misfireThreshold = 60000  
18. org.quartz.jobStore.class = org.quartz.simpl.RAMJobStore   
19.   
20. #============================================================================   
21. # Configure Plugins    
22. #============================================================================   
23. #org.quartz.plugin.triggHistory.class = org.quartz.plugins.history.LoggingJobHistoryPlugin   
24. #org.quartz.plugin.jobInitializer.class = org.quartz.plugins.xml.JobInitializationPlugin   
25. #org.quartz.plugin.jobInitializer.fileName = conf/quartz_jobs.xml   
26. #org.quartz.plugin.jobInitializer.overWriteExistingJobs = true  
27. #org.quartz.plugin.jobInitializer.failOnFileNotFound = true  
28. #org.quartz.plugin.jobInitializer.scanInterval = 5  

#============================================================================
# Configure Main Scheduler Properties  
#============================================================================
org.quartz.scheduler.instanceName = QuartzScheduler
org.quartz.scheduler.instanceId = AUTO

#============================================================================
# Configure ThreadPool  
#============================================================================
org.quartz.threadPool.class = org.quartz.simpl.SimpleThreadPool
org.quartz.threadPool.threadCount = 3
org.quartz.threadPool.threadPriority = 5

#===============================================================
#Configure JobStore
#===============================================================
org.quartz.jobStore.misfireThreshold = 60000
org.quartz.jobStore.class = org.quartz.simpl.RAMJobStore

#============================================================================
# Configure Plugins 
#============================================================================
#org.quartz.plugin.triggHistory.class = org.quartz.plugins.history.LoggingJobHistoryPlugin
#org.quartz.plugin.jobInitializer.class = org.quartz.plugins.xml.JobInitializationPlugin
#org.quartz.plugin.jobInitializer.fileName = conf/quartz_jobs.xml
#org.quartz.plugin.jobInitializer.overWriteExistingJobs = true
#org.quartz.plugin.jobInitializer.failOnFileNotFound = true
#org.quartz.plugin.jobInitializer.scanInterval = 5

好了，这就是配置文件，接下来我们就要做这个计划类了，这个类执行的是去源数据库中查询数据，并插入目标数据库中，并且不允许有重复。代码如下

Java代码

1. package com.bj58.job.servlet;   
2.   
3. import java.sql.Connection;   
4. import java.sql.PreparedStatement;   
5. import java.sql.ResultSet;   
6. import java.sql.SQLException;   
7.   
8. import org.apache.commons.logging.Log;   
9. import org.apache.commons.logging.LogFactory;   
10. import org.quartz.Job;   
11. import org.quartz.JobExecutionContext;   
12. import org.quartz.JobExecutionException;   
13.   
14. import com.bj58.job.utils.ConnectionFactory_DB_dest;   
15. import com.bj58.job.utils.ConnectionFactory_DB_src;   
16.   
17. /**  
18.  * 定时任务类  
19.  * @author zhangwan@58.com  
20.  * Jun 8, 2010  
21.  *  
22.  */  
23. public class QuartzJob implements Job {   
24.     private static final Log log = LogFactory.getLog(Job.class);   
25.     private static final String findSql_src = "select PortalId from t_portalinfo";   
26.     private static final String findSql_dest = "select userId from t_user";   
27.     private static final String insertSql_dest = "insert into t_user(userId) values (?)";   
28.        
29.     /**  
30.      * 执行任务方法  
31.      */  
32.     @Override  
33.     public void execute(JobExecutionContext context) throws JobExecutionException {   
34.         Connection conn_db_src = ConnectionFactory_DB_src.getConnection();   
35.         Connection conn_db_dest = ConnectionFactory_DB_dest.getConnection();   
36.         PreparedStatement pstmt_src = null;   
37.         PreparedStatement pstmt_dest = null;   
38.         ResultSet rs_src = null;   
39.         ResultSet rs_dest = null;   
40.         try {   
41.             pstmt_src = conn_db_src.prepareStatement(findSql_src);   
42.             rs_src = pstmt_src.executeQuery();   
43.   
44.             pstmt_dest = conn_db_dest.prepareStatement(findSql_dest);   
45.             rs_dest = pstmt_dest.executeQuery();   
46.             pstmt_dest = conn_db_dest.prepareStatement(insertSql_dest);   
47.                
48.             while(rs_dest.next()) { //第二次或第n次入库，第一次入库的话rs_dest没有结果，所以此段操作都不执行   
49.                 String userId = rs_dest.getString(1);   
50.                 while (rs_src.next()) {   
51.                     String protalId = rs_src.getString(1);   
52.                     if(userId.equals(protalId)) { //如果两个结果相同，则不进行入库   
53.                         break;   
54.                     } else {   
55.                         pstmt_dest.setString(1, protalId);   
56.                         pstmt_dest.execute();   
57.                     }   
58.                 }   
59.             }   
60.                
61.             while (rs_src.next()) { //如果是第一次入库   
62.                 String protalId = rs_src.getString(1);   
63.                 pstmt_dest.setString(1, protalId);   
64.                 pstmt_dest.execute();   
65.                    
66.             }   
67.             log.info("存储数据...");   
68.         } catch (SQLException e) {   
69.             log.info("存储数据出现异常...");   
70.             e.printStackTrace();   
71.         } finally {   
72.             ConnectionFactory_DB_dest.free(rs_dest, pstmt_dest, conn_db_dest);   
73.             ConnectionFactory_DB_src.free(rs_src, pstmt_src, conn_db_src);   
74.             log.info("数据库连接已经关闭...");   
75.         }   
76.   
77.     }   
78. }  

package com.bj58.job.servlet;

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;

import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.quartz.Job;
import org.quartz.JobExecutionContext;
import org.quartz.JobExecutionException;

import com.bj58.job.utils.ConnectionFactory_DB_dest;
import com.bj58.job.utils.ConnectionFactory_DB_src;

/**
 * 定时任务类
 * @author zhangwan@58.com
 * Jun 8, 2010
 *
 */
public class QuartzJob implements Job {
	private static final Log log = LogFactory.getLog(Job.class);
	private static final String findSql_src = "select PortalId from t_portalinfo";
	private static final String findSql_dest = "select userId from t_user";
	private static final String insertSql_dest = "insert into t_user(userId) values (?)";
	
	/**
	 * 执行任务方法
	 */
	@Override
	public void execute(JobExecutionContext context) throws JobExecutionException {
		Connection conn_db_src = ConnectionFactory_DB_src.getConnection();
		Connection conn_db_dest = ConnectionFactory_DB_dest.getConnection();
		PreparedStatement pstmt_src = null;
		PreparedStatement pstmt_dest = null;
		ResultSet rs_src = null;
		ResultSet rs_dest = null;
		try {
			pstmt_src = conn_db_src.prepareStatement(findSql_src);
			rs_src = pstmt_src.executeQuery();

			pstmt_dest = conn_db_dest.prepareStatement(findSql_dest);
			rs_dest = pstmt_dest.executeQuery();
			pstmt_dest = conn_db_dest.prepareStatement(insertSql_dest);
			
			while(rs_dest.next()) { //第二次或第n次入库，第一次入库的话rs_dest没有结果，所以此段操作都不执行
				String userId = rs_dest.getString(1);
				while (rs_src.next()) {
					String protalId = rs_src.getString(1);
					if(userId.equals(protalId)) { //如果两个结果相同，则不进行入库
						break;
					} else {
						pstmt_dest.setString(1, protalId);
						pstmt_dest.execute();
					}
				}
			}
			
			while (rs_src.next()) { //如果是第一次入库
				String protalId = rs_src.getString(1);
				pstmt_dest.setString(1, protalId);
				pstmt_dest.execute();
				
			}
			log.info("存储数据...");
		} catch (SQLException e) {
			log.info("存储数据出现异常...");
			e.printStackTrace();
		} finally {
			ConnectionFactory_DB_dest.free(rs_dest, pstmt_dest, conn_db_dest);
			ConnectionFactory_DB_src.free(rs_src, pstmt_src, conn_db_src);
			log.info("数据库连接已经关闭...");
		}

	}
}

这里一次性查出了源数据库中所有字段，因为源数据库表中的数据最多不会超过10000条，我在做测试的时候，在本机上发现一次查询10W条也不会出现结果集溢出情况，所以这里就忽略这个问题了。

最后我们就要做调度这个任务的类了，这里我做了个servlet，将调度代码写在init方法里，部署在服务器下，然后重新启动服务器，这样的话，任务就加载了，等到定时的时候就可以自动执行了。这个任务调度类的代码如下

Java代码

1. package com.bj58.job.servlet;   
2.   
3. import javax.servlet.ServletException;   
4. import javax.servlet.http.HttpServlet;   
5.   
6. import org.apache.commons.logging.Log;   
7. import org.apache.commons.logging.LogFactory;   
8. import org.quartz.CronTrigger;   
9. import org.quartz.JobDetail;   
10. import org.quartz.Scheduler;   
11. import org.quartz.SchedulerFactory;   
12. import org.quartz.impl.StdSchedulerFactory;   
13.   
14. /**  
15.  * 定时任务处理类  
16.  * @author zhangwan@58.com  
17.  * Jun 8, 2010  
18.  *  
19.  */  
20. public class QuartzJobServlet extends HttpServlet {   
21.     private static final long serialVersionUID = 1L;   
22.     private static final Log log = LogFactory.getLog(QuartzJobServlet.class);   
23.   
24.     /**  
25.      * 任务初始化  
26.      */  
27.     @Override  
28.     public void init() throws ServletException {   
29.         log.info("任务初始化...");   
30.         try {   
31.             JobDetail jobDetail = new JobDetail("Income Report","Report Generation", QuartzJob.class);   
32.             SchedulerFactory sf = new StdSchedulerFactory();   
33.             Scheduler sched;   
34.             sched = sf.getScheduler();   
35.             sched.start();   
36.             CronTrigger trigger = new  CronTrigger("Income Report", "Report Generation");   
37.             trigger.setCronExpression("0 0 1 * * ?");   
38.             sched.scheduleJob(jobDetail, trigger);   
39.             log.info("任务加载成功...");   
40.         } catch (Exception e) {   
41.             log.info("任务加载失败...");   
42.         }    
43.     }   
44. }