定时任务Job和SpringBatch批处理结合

最新推荐文章于 2022-12-13 21:09:20 发布
最新推荐文章于 2022-12-13 21:09:20 发布
阅读量1.2k 收藏 1
点赞数
文章标签： java 测试 python
原文链接：https://my.oschina.net/wliming/blog/688240
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

什么不多说直接上Demo：

vo类：

package it.quartz.job.test;

import java.io.Serializable;
import java.util.Date;

public class SelVo implements Serializable{
	private static final long serialVersionUID = 2746434425903993053L;
	private String name;
	private Date testDate;

	public String getName() {
		return name;
	}
	public void setName(String name) {
		this.name = name;
	}
	public Date getTestDate() {
		return testDate;
	}
	public void setTestDate(Date testDate) {
		this.testDate = testDate;
	}
	
}

Job任务类：

package it.quartz.job.test;

import java.text.SimpleDateFormat;
import java.util.Date;

import org.springframework.batch.core.Job;
import org.springframework.batch.core.JobParametersBuilder;
import org.springframework.batch.core.launch.support.SimpleJobLauncher;
import org.springframework.context.ApplicationContext;
import org.springframework.context.support.ClassPathXmlApplicationContext;

public class MyFirstJob {
	
	private final String contextPath = PathHelper.getWEB_INF_Path()+"conf/quartz-test.xml";
	private ApplicationContext ac = new ClassPathXmlApplicationContext(new String[]{"file:"+contextPath});
	public void excute(){
		System.out.print(new SimpleDateFormat("YYYY-mm-dd HH:mm:ss").format(new Date())+"========Spring Job Hello World!");
		SimpleJobLauncher launcher = (SimpleJobLauncher) ac.getBean("testLuncher");
		Job job = (Job) ac.getBean("testJob");
		JobParametersBuilder builder = (JobParametersBuilder) ac.getBean("paramsBuilder");
		builder.addDate("date", new Date());
		
		try {
			launcher.run(job, builder.toJobParameters());
		} catch (Exception e) {
			e.printStackTrace();
		} 
	}
}

RowMapper实现类：

package it.quartz.job.test;

import java.sql.ResultSet;
import java.sql.SQLException;

import org.springframework.jdbc.core.RowMapper;


public class MyRowMapper implements RowMapper<SelVo>{

	@Override
	public SelVo mapRow(ResultSet rs, int i)
			throws SQLException {
		SelVo selVo = new SelVo();
		selVo.setName(rs.getString("name"));
		selVo.setTestDate(rs.getTimestamp("testDate"));
		return selVo;
	}

}

读到写的过程类：

package it.quartz.job.test;

import org.springframework.batch.item.ItemProcessor;

public class MyProcessor implements ItemProcessor<SelVo, SelVo>{

	@Override
	public SelVo process(SelVo selVo) throws Exception {
		return selVo;
	}

}

获取web-inf路径的工具类：

package it.quartz.job.test;


public class PathHelper  {

	public static String getWEB_INF_Path(){
		String osName = System.getProperty("os.name");
		System.out.println("judging os system to be :"+osName);
		String configPath = PathHelper.class.getResource("/").getPath();	
		if(configPath == null){
			throw new RuntimeException("config path cannot be null");
		}
		if(osName.toLowerCase().contains("windows")){
			configPath = configPath.replaceFirst("/", "");
			configPath = configPath.replaceFirst("classes/", "");
		}else{
			configPath = configPath.replaceFirst("classes/", "");
		}		
		return configPath;
	}

}

web.xml配置：

<?xml version="1.0" encoding="UTF-8"?>
<web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java.sun.com/xml/ns/javaee" xmlns:web="http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd" xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/web-app_3_0.xsd" id="WebApp_ID" version="3.0">
  <display-name>SpringBatch</display-name>
  <welcome-file-list>
    <welcome-file>index.html</welcome-file>
    <welcome-file>index.htm</welcome-file>
    <welcome-file>index.jsp</welcome-file>
    <welcome-file>default.html</welcome-file>
    <welcome-file>default.htm</welcome-file>
    <welcome-file>default.jsp</welcome-file>
  </welcome-file-list>
  <context-param>
    <param-name>contextConfigLocation</param-name>
    <param-value>/WEB-INF/conf/job-test.xml</param-value>
  </context-param>
  <listener>
    <listener-class>org.springframework.web.context.ContextLoaderListener</listener-class>
  </listener>
</web-app>

定时任务配置文件：

<beans xmlns="http://www.springframework.org/schema/beans" xmlns:context="http://www.springframework.org/schema/context" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:aop="http://www.springframework.org/schema/aop"
    xmlns:tx="http://www.springframework.org/schema/tx" xmlns:p="http://www.springframework.org/schema/p" xmlns:util="http://www.springframework.org/schema/util" xmlns:jdbc="http://www.springframework.org/schema/jdbc"
    xmlns:cache="http://www.springframework.org/schema/cache" xmlns:mvc="http://www.springframework.org/schema/mvc"
    xsi:schemaLocation="
    http://www.springframework.org/schema/context
    http://www.springframework.org/schema/context/spring-context.xsd
    http://www.springframework.org/schema/beans
    http://www.springframework.org/schema/beans/spring-beans.xsd
    http://www.springframework.org/schema/tx
    http://www.springframework.org/schema/tx/spring-tx.xsd
    http://www.springframework.org/schema/jdbc
    http://www.springframework.org/schema/jdbc/spring-jdbc-3.1.xsd
    http://www.springframework.org/schema/cache
    http://www.springframework.org/schema/cache/spring-cache-3.1.xsd
    http://www.springframework.org/schema/aop
    http://www.springframework.org/schema/aop/spring-aop.xsd
    http://www.springframework.org/schema/util
    http://www.springframework.org/schema/util/spring-util.xsd  
    http://www.springframework.org/schema/mvc
    http://www.springframework.org/schema/mvc/spring-mvc-3.0.xsd">
    <!-- 调度器 -->
    <bean id="schedulerFactory" class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
        <!-- 触发器列表 -->
        <property name="triggers">
            <list>
                <ref bean="connTrigger"/>
            </list>
        </property>
    </bean>
    
    <!-- 触发器 -->
    <bean id="connTrigger" class="org.springframework.scheduling.quartz.CronTriggerBean">
        <!-- 处理类中转工厂 -->
        <property name="jobDetail" ref="myJobDetail"/>
        <property name="cronExpression" value="0 */1 * * * ?"/>
    </bean>
    
    <!-- 处理类中转工厂  -->
    <bean id="myJobDetail" class="org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean">
        <!-- 处理类 -->
        <property name="targetObject" ref="myJob"/>
        <property name="targetMethod" value="excute"/>
        <property name="concurrent" value="false"/>
    </bean>
    
    <bean id="myJob" class="it.quartz.job.test.MyFirstJob"/>
</beans>

spring批处理配置文件：

<?xml version="1.0" encoding="UTF-8"?>
<beans:beans xmlns="http://www.springframework.org/schema/batch"
    xmlns:beans="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="
    http://www.springframework.org/schema/beans
    http://www.springframework.org/schema/beans/spring-beans.xsd
    http://www.springframework.org/schema/batch
    http://www.springframework.org/schema/batch/spring-batch-2.1.xsd">
    
    <beans:bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource">
        <beans:property name="driverClassName" value="oracle.jdbc.driver.OracleDriver"/>
        <beans:property name="url" value="jdbc:oracle:thin:@:orcl"/>
        <beans:property name="username" value=""/>
        <beans:property name="password" value=""/>
    </beans:bean>
    
    <beans:bean id="testLuncher" class="org.springframework.batch.core.launch.support.SimpleJobLauncher">
        <beans:property name="jobRepository" ref="jobRepo"/>
    </beans:bean>
    
    <beans:bean id="paramsBuilder" class="org.springframework.batch.core.JobParametersBuilder"/>
    
    <beans:bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
        <beans:property name="dataSource" ref="dataSource"/>
    </beans:bean>
    
    <beans:bean id="jobRepo" class="org.springframework.batch.core.repository.support.JobRepositoryFactoryBean">
        <beans:property name="dataSource" ref="dataSource"/>
        <beans:property name="databaseType" value="oracle"/>
        <beans:property name="transactionManager" ref="transactionManager"/>
    </beans:bean>
    
    <beans:bean id="rowMapper" class="it.quartz.job.test.MyRowMapper"/>
    
    <beans:bean id="testReader" class="org.springframework.batch.item.database.JdbcCursorItemReader">
        <beans:property name="dataSource" ref="dataSource"/>
        <beans:property name="rowMapper" ref="rowMapper"/>
        <beans:property name="sql" value="select emp.EMP_NAME name, emp.CREATED_TIME testDate from AU_EMPLOYEE emp where emp.id = '1099104500000000025'"/>    
    </beans:bean>    
    
    <beans:bean id="testWriter" class="org.springframework.batch.item.database.JdbcBatchItemWriter">
        <beans:property name="dataSource" ref="dataSource"/>
        <beans:property name="itemSqlParameterSourceProvider" ref="testItemSqlParameterSourceProvider"/>
        <beans:property name="sql" value="update AU_EMPLOYEE emp set emp.PERSON_NAME = :name where emp.id = '1099104500000000025'"/>
    </beans:bean>    
    
    <beans:bean id="testItemSqlParameterSourceProvider" class="org.springframework.batch.item.database.BeanPropertyItemSqlParameterSourceProvider"/>
    
    <beans:bean id="testProcessor" class="it.quartz.job.test.MyProcessor"/>
    
    <job id="testJob" job-repository="jobRepo" restartable="true">
        <step id="testStep">
            <tasklet>
                <chunk reader="testReader" processor="testProcessor" writer="testWriter" commit-interval="10000" skip-limit="10000">
                    <skippable-exception-classes></skippable-exception-classes>
                </chunk>
            </tasklet>
        </step>
    </job>
</beans:beans >

cronExpression：* * * * * ?

* 代表任意

？代表年份

比如：0 */1 * * * ? 每一分钟的0秒执行一次

           0 0 */1 * * ? 每一小时的0分0秒执行一次

           0 0 23 L * ? 每月最后一天23点执行一次(L：最后的意思)

    上面的spring批处理配置有点瑕疵哦，如果数据库是Oracle的话，JobRepositoryFactoryBean还要多加个属性'isolationLevelForCreate'，完整的如下：

<?xml version="1.0" encoding="UTF-8"?>
<beans:beans xmlns="http://www.springframework.org/schema/batch"
    xmlns:beans="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="
    http://www.springframework.org/schema/beans
    http://www.springframework.org/schema/beans/spring-beans-2.0.xsd
    http://www.springframework.org/schema/batch
    http://www.springframework.org/schema/batch/spring-batch-2.1.xsd">
    <!-- 引入dataSource -->
    <beans:import resource="applicationContext.xml"/>
    
    <beans:bean id="jobLuncher" class="org.springframework.batch.core.launch.support.SimpleJobLauncher">
        <beans:property name="jobRepository" ref="mealcardRepo"/>    
    </beans:bean>
    
    <beans:bean id="jobParamsBuilder" class="org.springframework.batch.core.JobParametersBuilder"/>
    
    <beans:bean id="transactionManager2"  class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
        <beans:property name="dataSource" ref="dataSource"/>
    </beans:bean>
    
    <beans:bean id="mealcardRepo" class="org.springframework.batch.core.repository.support.JobRepositoryFactoryBean">
        <beans:property name="dataSource" ref="dataSource"/>
        <beans:property name="isolationLevelForCreate" value="ISOLATION_READ_COMMITTED"/>  
        <beans:property name="transactionManager" ref="transactionManager2"/>  
        <beans:property name="databaseType" value="oracle"/>  
    </beans:bean>    
    
    <beans:bean id="mealcardRowMapper" class="gap.mealcard_quancun.quartz.data.MealcardRowMapper"/>
    
    <beans:bean id="mealcardReader" class="org.springframework.batch.item.database.JdbcCursorItemReader">
        <beans:property name="dataSource" ref="dataSource"/>
        <beans:property name="rowMapper" ref="mealcardRowMapper"/>
        <beans:property name="sql" value="" />
    </beans:bean>
    
    <beans:bean id="mealCardProcessor" class="gap.mealcard_quancun.quartz.util.MealCardProcessor"/>
    
    <beans:bean id="mealcardWriter" class="org.springframework.batch.item.database.JdbcBatchItemWriter">
        <beans:property name="dataSource" ref="dataSource"/>
        <beans:property name="itemSqlParameterSourceProvider" ref="mealcardItemParamProvider"/>
        <beans:property name="sql" value=""/>
    </beans:bean>    
    
    <beans:bean id="mealcardItemParamProvider" class="org.springframework.batch.item.database.BeanPropertyItemSqlParameterSourceProvider"/>
    
    <job id="mealcardJob" restartable="true" job-repository="mealcardRepo">
        <step id="mealCardStep">
            <tasklet transaction-manager="transactionManager2" allow-start-if-complete="true" start-limit="3">
                <chunk reader="mealcardReader" processor="mealCardProcessor" writer="mealcardWriter" commit-interval="10000" skip-limit="10000">
                    <skippable-exception-classes>
                        <include class="java.sql.SQLException" />
                        <include class="org.springframework.dao.DataIntegrityViolationException" />  
                    </skippable-exception-classes>
                </chunk>
            </tasklet>
        </step>
    </job>
</beans:beans>

    事务隔离级别'ISOLATION_READ_COMMITTED'是要配的，因为Job工厂的默认事务隔离级别是'ISOLATION_SERIALIZABLE'，这个事务级别在Job里很容易出现'无法连续访问此事务处理的异常'。

    喜欢此文的朋友请点个赞哦！

转载于:https://my.oschina.net/wliming/blog/688240

weixin_33918357
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ElasticJob与SpringBatch的结合使用
06-19
Elastic-Job + Spring Batch 可以实现数据的分布式处理并保证数据的顺序执行。
SpringBoot + SpringBatch + Quartz整合定时批量任务
scorpio的博客
08-16 9090
SpringBoot + SpringBatch + Quartz整合定时批量任务
springbatch 和 quartz 处理job框架
qq_35306443的博客
06-13 6116
一款轻量的、全面的批处理框架，用于开发强大的日常运营的企业级批处理应用程序。 在大型企业中，由于业务复杂、数据量大、数据格式不同、数据交互格式繁杂，并非所有的操作都能通过交互界面进行处理。而有一些操作需要定期读取大批量的数据，然后进行一系列的后续处理。这样的过程就是“批处理”。 典型的批处理流程是读数据、处理数据、写数据的三步式架构——从数据库、文件或队列中读取大量数据，然后通过业务规则处理数据...
Spring Batch任务的异步执行
提炼技能，形成智慧
05-04 3712
Spring Batch的默认执行的流程如下： 如果想同时执行多个Job，那么就要用到Spring Batch的异步执行方式，这种方式如下： 这在通过web页面执行任务的时候，也会非常有用，不会让页面阻塞。 我们只需要在原来的程序上，加上如下配置即可： <bean:bean id="jobLauncher" class="org.springframework.batc
Spring Batch作业对象-Job简介
最新发布
langfeiyes的博客
12-13 1387
来，一起喵喵Spring Batch 批处理作业Job是个啥，一起了解一下~
Spring batch批处理框架
08-30
Spring Batch 是一个强大的批处理框架，它为Java应用程序提供了处理大量数据的能力。Spring Batch 的设计...配合如Quartz这样的调度框架，可以实现定时自动执行的批处理任务，大大提高了工作效率和系统的自动化程度。
详解spring batch的使用和定时器Quart的使用
08-29
Spring Batch是一个基于Spring的企业级批处理框架，它通过配合定时器Quartz来轻易实现大批量的数据读取或插入，并且全程自动化，无需人员管理。在使用Spring Batch之前，需要对Spring Batch的流程有一个基本了解。 ...
【SpringBatch】批处理框架整合配置过程文档.docx
06-03
SpringBatch 是一个由 Spring 社区开发的轻量级、全面的批处理框架，它为构建强大、可靠的批处理应用程序提供了必要的工具和组件。Spring Batch 基于 Spring Framework，因此具备了 Spring 提供的生产力、面向 POJO ...
springbatch 详解PDF附加 全书源码 压缩包
07-13
3. **定时任务**: 结合 Quartz 或者 Spring Scheduler 定时执行批处理任务。 4. **ETL 过程**: 在数据仓库项目中，使用 Spring Batch 进行数据抽取、转换和加载。 通过阅读《Spring.Batch批处理框架.pdf》和源码，...
Spring-batch学习总结（2）—Job,Flow创建及应用，多线程并发，决策器，监听器，参数...
weixin_33743703的博客
09-20 870
一．Job的创建及其应用1.Job flow的介绍：（1）状态机：例完成step1，是否继续完成step2,step3,我们就需要通过Job flow来控制（2）进行演示:使用next()方法来达到顺序执行step1，step2...的目的，再使用on(),to(),from()方法达到与next()方法同样的目的，再展示fail()方法和stopAndRestart()方法；例1：创建JobFl...
quartz整合springbatch动态集群定时实现mysql参考
08-08
本人花费多日时间，亲测有效。所需文件代码完整，只需导入常用开发IDE和mysql数据库即可正常使用。
spring batch 源码分析
ray1205的专栏
03-13 3394
一、启动batch任务时，会调用job.execute(jobExecution)： job为FlowJob类型，jobExecution调用jobRepository的createJobExecution方法生成。FlowJob继承org.springframework.batch.core.job.AbstractJob，调用AbstractJob#execute方法执行job，这个方法负责执...
Spring Batch之Job的异步执行（八）
qq_21370419的博客
11-29 1978
JobLauncher支持对作业的同步、异步两种调用模式。默认情况下，JobLauncher的run操作通过同步方式调用Job，即任何调用Job的客户端需要等待Job的执行结果返回后才能结束。 现在可以通过异步调用模式，即调用Job的客户端无需一直等待Job执行结果，可以先返回，等过段时间来查询当前作业的执行情况。 一、异步调用配置 (1).配置一个线程池 (2).为JobLauncher配置线程池 二、项目举例 1.项目架构 2.代码实现 Demo...
Spring Batch 之 Job的创建和调用
vincent
12-30 2万+
在成功创建一个job后，Spring Batch 默认在项目启动时候执行配置的job。这是因为，Spring Batch中相同的Job，当所带参数一致的时候，有且只会启动一次。在接下来的篇幅中，将逐步介绍每个组件的使用方式，并结合业务进行批处理。2、job的参数是在整个job的step的生命周期中都可以使用到，我们可以根据不同业务处理逻辑，传入所需参数。demo中使用到了 step的监听器，在后续章节会逐步讲解，此处不予细讲。调用的Job 是根据 在创建job时候，Bean name去指定。
数据库事务概述
zzxinwow123的博客
06-27 2309
事务管理欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编
SpringBoot + SpringBatch + Mybatis + Scheduled 定时任务数据批处理
fivehundredyearsago的博客
03-02 2290
pom文件： 批处理包 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-batch</artifactId> </dependency> 定时任务包 <dependency> <groupId>org.quartz-scheduler</groupI
理解定时任务(scheduleJob)与批处理作业 in DolphinDB
漫步量化
04-23 2507
Overview 关于如何查看两者各自的运行情况，有些许重复，需要理清。 定时任务 物理层面机理 定时作业用一个函数来表示，通过scheduleJob函数提交，并按设定时间在后台运行。 作业创建后，作业相关定义信息序列化保存到数据节点的磁盘文件<homeDir>/sysmgmt/jobEditlog.meta； 节点重启后，系统会反序列化并加载定时作业； 定时作业每次运行的结果会保存到节点磁盘上，通过getJobMessage和getJobReturn查看每个作业的运行日志和返回值；..
spring batch教程 之 配置并运行Job
热门推荐
回头等终点的博客
03-27 2万+
Spring batch整体的架构设计使用如下关系图来进行表示： 虽然Job对象看上去像是对于多个Step的一个简单容器，但是开发者必须要注意许多配置项。此外，Job的运行以及Job运行过程中元数据如何被保存也是需要考虑的。本章将会介绍Job在运行时所需要注意的各种配置项。 1.1 Configuring a Job Job接口 的实现有多个，但是在配置上
spring batch （四） Job的配置及配置文件说明介绍
weixin_30578677的博客
04-01 802
内容来自《Spring Batch 批处理框架》，作者：刘相。我只是个搬运工。 一、Spring Batch提供了独立的标签用来顶一个Job配置，分别是job、step、tasklet、chunk等。共有6个外层标签使用，如下： <batch:job id=""></batch:job><batch:flow id=""></batch:flow&...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值