Spring Batch_JdbcCursorItemReader

最新推荐文章于 2023-07-17 01:26:07 发布
最新推荐文章于 2023-07-17 01:26:07 发布
阅读量1.2k 收藏 1
点赞数
文章标签： java python 数据库
原文链接：https://my.oschina.net/xinxingegeya/blog/343190
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

Spring Batch_JdbcCursorItemReader

该demo主要完成的功能就是把数据从表people读出来处理加上people的desc属性然后保存到表ok_people。对应的People.java和PeopleDESC.java

package com.lyx.batch;

public class People {
	private int id;
	private String lastName;
	private String firstName;

	public People() {
	}

	public People(String firstName, String lastName) {
		this.firstName = firstName;
		this.lastName = lastName;
	}

	public int getId() {
		return this.id;
	}

	public void setId(int id) {
		this.id = id;
	}

	public void setFirstName(String firstName) {
		this.firstName = firstName;
	}

	public String getFirstName() {
		return this.firstName;
	}

	public String getLastName() {
		return this.lastName;
	}

	public void setLastName(String lastName) {
		this.lastName = lastName;
	}

	@Override
	public String toString() {
		return "firstName: " + this.firstName + ", lastName: " + this.lastName;
	}

}

 

package com.lyx.batch;

public class PeopleDESC {
	private int id;
	private String lastName;
	private String firstName;
	private String desc;

	public PeopleDESC(String lastName, String firstName, String desc) {
		super();
		this.lastName = lastName;
		this.firstName = firstName;
		this.desc = desc;
	}

	public int getId() {
		return this.id;
	}

	public void setId(int id) {
		this.id = id;
	}

	public void setFirstName(String firstName) {
		this.firstName = firstName;
	}

	public String getFirstName() {
		return this.firstName;
	}

	public String getLastName() {
		return this.lastName;
	}

	public void setLastName(String lastName) {
		this.lastName = lastName;
	}

	@Override
	public String toString() {
		return "firstName: " + this.firstName + ", lastName: " + this.lastName;
	}

	public String getDesc() {
		return this.desc;
	}

	public void setDesc(String desc) {
		this.desc = desc;
	}

}

对应的数据库表

CREATE TABLE ok_people  (
    person_id BIGINT NOT NULL AUTO_INCREMENT,
    first_name VARCHAR(20),
    last_name VARCHAR(20),
    batch_desc varchar(255),
    PRIMARY KEY (person_id)
);
CREATE TABLE people  (
    person_id BIGINT NOT NULL AUTO_INCREMENT,
    first_name VARCHAR(20),
    last_name VARCHAR(20),
    PRIMARY KEY (person_id)
);

 

主要过程还是配置job的reader，processor，writer，下面是配置文件中的reader，processor，wirter，如下配置文件：

<beans xmlns="http://www.springframework.org/schema/beans"
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:batch="http://www.springframework.org/schema/batch"
	xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.0.xsd
		http://www.springframework.org/schema/batch http://www.springframework.org/schema/batch/spring-batch.xsd">
	
	<bean id="exceptionHandler" class="com.lyx.batch.ExceptionListener" />

	<batch:step id="abstractStep" abstract="true">
		<batch:listeners>
			<batch:listener ref="exceptionHandler" />
		</batch:listeners>
	</batch:step>
	<bean id="abstractCursorReader" abstract="true"
		class="org.springframework.batch.item.database.JdbcCursorItemReader">
		<property name="dataSource" ref="dataSource" />
	</bean>

	<batch:job id="addPeopleDescJob">
		<batch:step id="addDescStep" parent="abstractStep">
			<batch:tasklet>
				<batch:chunk reader="peopleAddDescReader" processor="addDescProcessor"
					writer="addDescPeopleWriter" commit-interval="2"/>
			</batch:tasklet>
		</batch:step>
	</batch:job>
	<bean id="peopleAddDescReader" parent="abstractCursorReader"
		scope="step">
		<property name="sql">
			<value><![CDATA[select first_name ,last_name from people where 
			first_name like ? or last_name like ?]]></value>
		</property>
		<property name="rowMapper" ref="peopleRowMapper" />
		<property name="preparedStatementSetter" ref="preparedStatementSetter" />
		<property name="fetchSize" value="20" />
	</bean>
	<bean id="peopleRowMapper" class="com.lyx.batch.PeopleRowMapper" />
	<bean id="preparedStatementSetter" class="com.lyx.batch.PeoplePreparedStatementSetter" />
	<bean id="addDescProcessor" class="com.lyx.batch.AddPeopleDescProcessor" />
	<bean id="addDescPeopleWriter" class="com.lyx.batch.AddDescPeopleWriter" >
		<property name="dataSource" ref="dataSource"/>
	</bean>
	
	<!--tomcat jdbc pool数据源配置 -->
	<bean id="dataSource" class="org.apache.tomcat.jdbc.pool.DataSource"
		destroy-method="close">
		<property name="poolProperties">
			<bean class="org.apache.tomcat.jdbc.pool.PoolProperties">
				<property name="driverClassName" value="com.mysql.jdbc.Driver" />
				<property name="url" value="jdbc:mysql://localhost:3306/test" />
				<property name="username" value="root" />
				<property name="password" value="034039" />
			</bean>
		</property>
	</bean>
	
	<!-- spring batch 配置jobRepository -->
	<batch:job-repository id="jobRepository"
		data-source="dataSource" transaction-manager="transactionManager"
		isolation-level-for-create="REPEATABLE_READ" table-prefix="BATCH_"
		max-varchar-length="1000" />
	<!-- spring的事务管理器 -->
	<bean id="transactionManager"
		class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
		<property name="dataSource" ref="dataSource" />
	</bean>

	<!-- batch luncher -->
	<bean id="jobLauncher"
		class="org.springframework.batch.core.launch.support.SimpleJobLauncher">
		<property name="jobRepository" ref="jobRepository" />
	</bean>
</beans>

对应的类：PeopleRowMapper.java

package com.lyx.batch;

import java.sql.ResultSet;
import java.sql.SQLException;

import org.springframework.jdbc.core.RowMapper;

public class PeopleRowMapper implements RowMapper<People> {

	public People mapRow(ResultSet rs, int rowNum) throws SQLException {
		People p = new People();
		p.setFirstName(rs.getString("first_name"));
		p.setLastName(rs.getString("last_name"));
		return p;
	}

}

PeoplePreparedStatementSetter.java

package com.lyx.batch;

import java.sql.PreparedStatement;
import java.sql.SQLException;

import org.springframework.jdbc.core.PreparedStatementSetter;

public class PeoplePreparedStatementSetter implements PreparedStatementSetter {

	public void setValues(PreparedStatement ps) throws SQLException {
		// TODO Auto-generated method stub
		ps.setString(1, "%JOHN%");
		ps.setString(2, "%DOE%");
	}
}

AddPeopleDescProcessor.java

package com.lyx.batch;

import org.springframework.batch.item.ItemProcessor;

public class AddPeopleDescProcessor implements
		ItemProcessor<People, PeopleDESC> {

	public PeopleDESC process(People item) throws Exception {
		return new PeopleDESC(item.getLastName(), item.getFirstName(), Thread
				.currentThread().getName());
	}
}

AddDescPeopleWriter.java

package com.lyx.batch;

import java.util.List;

import javax.sql.DataSource;

import org.springframework.batch.item.ItemWriter;
import org.springframework.jdbc.core.JdbcTemplate;

public class AddDescPeopleWriter implements ItemWriter<PeopleDESC> {

	private JdbcTemplate jdbcTemplate;

	public void setDataSource(DataSource dataSource) {
		this.jdbcTemplate = new JdbcTemplate(dataSource);
	}

	public void write(List<? extends PeopleDESC> items) throws Exception {
		for (PeopleDESC peopleDESC : items) {
			this.jdbcTemplate
					.update("insert into ok_people (first_name, last_name, batch_desc) values (?, ?, ?)",
							peopleDESC.getFirstName(),
							peopleDESC.getLastName(), peopleDESC.getDesc());
		}
	}

}

===============END===============

转载于:https://my.oschina.net/xinxingegeya/blog/343190

weixin_34268610
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SpringBatch chunk详解
境里婆娑
09-03 1906
在Spring Batch中，Chunk是批处理作业中的一个重要概念，用于将大批量的数据划分成小块进行处理。
Spring Batch之读数据库——JdbcCursorItemReader（三十五）
qq_21370419的博客
03-08 4123
一、JdbcCursorItemReader结构及关键属性 JdbcCursorItemReader将数据库记录转换为Java对象时主要有两步工作：首先根据PreparedStatement从数据库中获取结果集ResultSet；然后使用RowMapper将结果集ResultSet转换为Java对象。 二、关键接口、类和关键属性 1.JdbcCursorItemReader关键接口、类 关键类 说明 DataSource 提供读取数据库的数据源信息 PreparedState
spring batch mysql_Spring批处理 - JdbcCursorItemReader使用大型MySQL表抛出OutOfMemoryError
weixin_26820427的博客
02-11 506
我正在编写一个使用Spring Batch处理来自MySQL数据库表的7,637,064行的程序。我已经用较小的表获得成功，但当JdbcCursorItemReader试图打开游标时，此表中的大量行会导致OutOfMemoryError异常。Spring批处理 - JdbcCursorItemReader使用大型MySQL表抛出OutOfMemoryError我可以通过抛出一个更大的Xmx来解决这...
Spring Batch之读数据库——JdbcCursorItemReader之使用框架提供的BeanPropertyRowMapper（三十六）
最新发布
qq_21370419的博客
07-17 1173
Spring Batch之读数据库——JdbcCursorItemReader之使用框架提供的BeanPropertyRowMapper（三十六）
java cursor属性_java-在JdbcCursorItemReader中将作业参数用作准备好的语句参数
weixin_32534669的博客
02-28 547
我有一个作业必须使用不同的作业参数运行多次.我想设置一个JdbcCursorItemReader来执行作业查询,itemReader的配置如下：class="org.springframework.batch.item.database.JdbcCursorItemReader">作业配置如下：processor="tpsItemProcessor"writer="tpsItemWriter...
Spring Batch ItemReader组件-读数据库
langfeiyes的博客
02-13 1070
了解Spring Batch 读取Json文件后，接下来一起学习一下Spring Batch 如何读数据库中的数据
batch spring 重复执行_Spring Batch_JOB重启机制
weixin_32052253的博客
01-17 2053
Spring Batch_JOB重启机制在这一篇文章 对于restart做了试验，http://my.oschina.net/xinxingegeya/blog/344817在这片文章里，我们只是当job成功时，重启了job，对于job失败后，重启job有什么效果，我没有演示，下面我们就来演示一下当job失败退出后，再重启job有什么效果。先做一个 导致job失败的情景，如下的processor...
spring batch使用reader读数据的内存容量问题详解
08-18
为了解决这个问题，Spring Batch 提供了多种 Reader 实现，例如 JdbcCursorItemReader 和 JdbcPagingItemReader。JdbcCursorItemReader 使用 JDBC cursor 来读取数据，但它会把所有数据一次性地读取到内存中，这可能...
SpringBatch学习例子
weixin_44744155的博客
04-11 372
1.建表sql CREATE TABLE BATCH_JOB_INSTANCE ( JOB_INSTANCE_ID BIGINT NOT NULL PRIMARY KEY , VERSION BIGINT , JOB_NAME VARCHAR(100) NOT NULL, JOB_KEY VARCHAR(32) NOT NULL, constraint JOB_INST_UN unique (JOB_NAME, JOB_KEY) ) ENGINE=InnoDB;
Spring Batch_异步并发的processor && writer
weixin_34268610的博客
11-13 2127
2019独角兽企业重金招聘Python工程师标准>>> ...
Java中批处理框架spring batch详细介绍
ThatsThePrice的博客
10-15 2250
spring batch简介 spring batch是spring提供的一个数据处理框架。企业域中的许多应用程序需要批量处理才能在关键任务环境中执行业务操作。 这些业务运营包括： 无需用户交互即可最有效地处理大量信息的自动化，复杂处理。 这些操作通常包括基于时间的事件（例如月末计算，通知或通信）。 在非常大的数据集中重复处理复杂业务规则的定期应用（例如，保险利益确定或费率调整）。 集成从内部和外部系统接收的信息，这些信息通常需要以事务方式格式化，验证和处理到记录系统中。 批处理用于每天为企业处理数十亿的
spring batch 读mysql_Spring-Batch处理MySQL数据后存到CSV文件
weixin_42130786的博客
02-11 373
1 介绍用Spring Batch实现了个简单的需求，从MySQL中读取用户表数据，根据生日计算年龄，将结果输出到csv文件。1.1 准备表及数据user test;DROP TABLE IF EXISTS `test_user`;CREATE TABLE `test_user` (`id` int(11) NOT NULL auto_increment,`name` varchar(45) N...
Spring Batch(6)——数据库批数据读写
justlpf的专栏
03-17 1391
因此当数据写入与整个Step绑定为事物时还需要实现一个控制过程是：在写入数据的过程中出现异常时要擦除本次事物已经写入的数据，这样才能和整个Step的状态保持一致。，因为数据库的各种链接池本身就保证了链接->写入->释放的高效执行，也不存在向队尾添加数据的问题。Spring Batch为不同类型的文件的写入提供了多个实现类，但并没有为数据库的写入提供任何实现类，而是交由开发者自己去实现接口。因此，对于数据库的写入操作只要按照常规的批量数据写入的方式即可，开发者使用任何工具都可以完成这个过程。
spring batch使用读数据的问题
weixin_44117767的博客
02-09 1237
概述 本篇博客是记录使用spring batch做数据迁移时时遇到的一个关键问题：数据迁移量大时如何保证内存。当我们在使用spring batch时，我们必须配置三个东西: reader，processor，和writer。其中，reader用于从数据库中读数据，当数据量较小时，reader的逻辑不会对内存带来太多压力，但是当我们要去读的数据量非常大的时候，我们就不得不考虑内存等方面的问题，因为若数据量非常大，内存，执行时间等等都会受到影响。 问题是什么 在上面的内容当中我们已经提到了,我们面临的问题是数据
实战代码（二）:Springboot Batch实现定时数据迁移
Smile丶
11-15 1815
一、理论基础 1.1 Batch是什么 Spring Batch是Spring全家桶中的一员，是一个轻量级的批处理框架，比较实际的应用场景是数据迁移，比如将csv文件中的数据迁移到MySQL。 优势在于上手简单，编码规范化，能以较少的代码实现强大的功能。和ETL工具-kettle功能类似，但是定制性比较强 应用场景集中在各种DB、文件等各种已经存在的历史数据，貌似不支持消息队列的实时监听（如果有知道如何实现的，一定要告诉我），实时数据监听可以使用Storm等流式数据处理框架 1.2 基础概念 ItemRe
Spring Batch_DEMO_使用JdbcCursorItemReader
01-07 3040
Spring Batch_DEMO_使用JdbcCursorItemReader 该demo主要完成的功能就是把数据从表people读出来处理加上people的desc属性然后保存到表ok_people。。 对应的People.java和PeopleDESC.java ? 1 2 3 4 5 6 7 8 9 10 11 12 13
从源码角度分析Spring batch里ItemReader的使用
热门推荐
陈袁的博客
04-09 1万+
从源码来分析spring-batch的itemReader怎么工作的
spring batch使用reader读数据的内存容量问题
topdeveloperr的博客
04-16 5939
Table of Contents 概述 问题是什么 Spring提供的reader实现 JdbcCursorItemReader JdbcPagingItemReader 总结 概述 本篇博客是记录使用spring batch做数据迁移时时遇到的一个关键问题：数据迁移量大时如何保证内存。当我们在使用spring batch时，我们必须配置三个东西: reader，processo...
大数据迁移：Spring Batch Reader内存优化深度解析
在Spring Batch中，内存问题尤其体现在JdbcCursorItemReader和JdbcPagingItemReader这样的数据库连接方式上。JdbcCursorItemReader逐行读取，适合于处理大量数据，但它每次只读取一行，减少了内存压力。然而，如果...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值