在此声明:本文转自原文1 ,原文2,最近抓取竞对的网站数据,需要作业调度框架。作业调度是非常重要的概念,觉得几篇文章对于初始Quartz不错,在此转发以扩大影响,不过觉得原文有些不可取的地方,望大家甄别,同时希望能帮助广大的开发者,在此对原文作者表示感谢!
最近在公司做抓取竞对web数据的爬虫,由于数据量比较大,不可能全量实时更新,所以采用轮询的定时任务来定期抓取数据。
Quartz由java编写的开源作业调度框架,可以用来快速地创建一个实现org.quartz.Job接口的java类。Job接口包含唯一的方法:
public void execute(JobExecutionContext context) throws JobExecutionException;
在你的Job接口实现类里面,添加一些逻辑到execute()方法,剩下的事就交给Quartz了。在进行web开发时,很多时候只需要配置一下即可。
1、Scheduler的配置
<bean class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
<property name="triggers">
<list>
<ref bean="testTrigger"/>
</list>
</property>
<property name="autoStartup" value="true"/>
</bean>
说明:Scheduler包含一个Trigger列表,每个Trigger表示一个作业。
2、Trigger的配置
<bean id="testTrigger" class="org.springframework.scheduling.quartz.CronTriggerBean">
<property name="jobDetail" ref="testJobDetail"/>
<property name="cronExpression" value="*/1 * * * * ?"/><!-- 每隔1秒钟触发一次 -->
</bean>
3、Job的配置
3.1)、JobDetail的配置
<bean id="testJobDetail" class="org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean">
<property name="targetObject" ref="testJob"/>
<property name="targetMethod" value="execute"/>
<property name="concurrent" value="false"/>
<!-- 是否允许任务并发执行。当值为false时,表示必须等到前一个线程处理完毕后才再启一个新的线程 -->
</bean>
3.2)、业务类的配置<bean id="testJob" class="com.cjm.web.service.quartz.TestJob"/>
注意:
在Spring配置和Quartz集成内容时,有两点需要注意
1、在<Beans>中不能够设置default-lazy-init="true",否则定时任务不触发,如果不明确指明default-lazy-init的值,默认是false。
2、在<Beans>中不能够设置default-autowire="byName"的属性,否则后台会报org.springframework.beans.factory.BeanCreationException错误,这样就不能通过Bean名称自动注入,必须通过明确引用注入
<!-- 设置Spring的监听,项目启动时候初始化 -->
<listener>
<listener-class>org.springframework.web.context.ContextLoaderListener</listener-class>
</listener>
<!-- 指定Spring配置文件的路径 -->
<context-param>
<param-name>contextConfigLocation</param-name>
<param-value>/WEB-INF/classes/applicationContext.xml</param-value>
</context-param>
下面是一段比较完整的配置:
<!-- Timer schedule -->
<!--要调度的对象-->
<bean id="jobBean" class="net.xsbiz.common.MakeHtml" />
<bean id="jobDetail" class="org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean">
<property name="targetObject" ref="jobBean" />
<property name="targetMethod" value="execute" />
<!--将并发设置为false-->
<property name="concurrent" value="false" />
</bean>
<bean id="trigger" class="org.springframework.scheduling.quartz.CronTriggerBean">
<property name="jobDetail" ref="jobDetail" />
<!--表达式,我的是每 30 执行一次-->
<property name="cronExpression" value="0/30 * * * * ?" />
</bean>
<!-- 总管理类如果将lazy-init='false'那么容器启动就会执行调度程序 -->
<bean id="startQuertz" class="org.springframework.scheduling.quartz.SchedulerFactoryBean" lazy-init="false" >
<property name="triggers">
<list>
<!--作业调度器,list下可加入其他的调度器-->
<ref bean="trigger" />
</list>
</property>
</bean>
1、JobDetail
JobDetail是一个具体的类,具体需调度作业相关类;
2、Trigger
触发器,用于定义 Job 何时执行。最常用的是 SimpleTrigger 和 CronTrigger 。一般来说,如果你需要在一个固定的时间和重复次数或者一个固定的间隔时间,那么 SimpleTrigger 比较合适;如果你有许多复杂的作业调度,那么 CronTrigger 比较合适。 CronTrigger 和 Unix 的 cron 机制基本一样,我们需要的只是一个 cron 表达式。比如“ 0 0 12 * * ? ”会在每天中午 12 点触发 执行;“ 0 15 10 ? * 6L ”会在每个月的最后一个星期五的早上 10:15 触发 Job 执行;
3、Scheduler
定时任务管理器,Scheduler和SchedulerFactory : Scheduler 负责管理 Trigger 、调度 Job , SchedulerFactory 则是 Scheduler 工厂,负责生成 Scheduler 。
在此声明:本文转自原文1 ,原文2,最近抓取竞对的网站数据,需要作业调度框架。作业调度是非常重要的概念,觉得几篇文章对于初始Quartz不错,在此转发以扩大影响,不过觉得原文有些不可取的地方,望大家甄别,同时希望能帮助广大的开发者,在此对原文作者表示感谢!