Spring Batch_DEMO_使用JdbcCursorItemReader

最新推荐文章于 2023-07-19 15:13:59 发布
最新推荐文章于 2023-07-19 15:13:59 发布
阅读量3k 收藏
点赞数
分类专栏： java 文章标签： java spring batch

Spring Batch_DEMO_使用JdbcCursorItemReader


该demo主要完成的功能就是把数据从表people读出来处理加上people的desc属性然后保存到表ok_people。。

对应的People.java和PeopleDESC.java

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
package  com.lyx.batch;
 
public  class  People {
     private  int  id;
     private  String lastName;
     private  String firstName;
 
     public  People() {
     }
 
     public  People(String firstName, String lastName) {
         this .firstName = firstName;
         this .lastName = lastName;
     }
 
     public  int  getId() {
         return  this .id;
     }
 
     public  void  setId( int  id) {
         this .id = id;
     }
 
     public  void  setFirstName(String firstName) {
         this .firstName = firstName;
     }
 
     public  String getFirstName() {
         return  this .firstName;
     }
 
     public  String getLastName() {
         return  this .lastName;
     }
 
     public  void  setLastName(String lastName) {
         this .lastName = lastName;
     }
 
     @Override
     public  String toString() {
         return  "firstName: "  +  this .firstName +  ", lastName: "  +  this .lastName;
     }
 
}
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
package  com.lyx.batch;
 
public  class  PeopleDESC {
     private  int  id;
     private  String lastName;
     private  String firstName;
     private  String desc;
 
     public  PeopleDESC(String lastName, String firstName, String desc) {
         super ();
         this .lastName = lastName;
         this .firstName = firstName;
         this .desc = desc;
     }
 
     public  int  getId() {
         return  this .id;
     }
 
     public  void  setId( int  id) {
         this .id = id;
     }
 
     public  void  setFirstName(String firstName) {
         this .firstName = firstName;
     }
 
     public  String getFirstName() {
         return  this .firstName;
     }
 
     public  String getLastName() {
         return  this .lastName;
     }
 
     public  void  setLastName(String lastName) {
         this .lastName = lastName;
     }
 
     @Override
     public  String toString() {
         return  "firstName: "  +  this .firstName +  ", lastName: "  +  this .lastName;
     }
 
     public  String getDesc() {
         return  this .desc;
     }
 
     public  void  setDesc(String desc) {
         this .desc = desc;
     }
 
}


对应的数据库表

?
1
2
3
4
5
6
7
8
9
10
11
12
13
CREATE  TABLE  ok_people  (
     person_id  BIGINT  NOT  NULL  AUTO_INCREMENT,
     first_name  VARCHAR (20),
     last_name  VARCHAR (20),
     batch_desc  varchar (255),
     PRIMARY  KEY  (person_id)
);
CREATE  TABLE  people  (
     person_id  BIGINT  NOT  NULL  AUTO_INCREMENT,
     first_name  VARCHAR (20),
     last_name  VARCHAR (20),
     PRIMARY  KEY  (person_id)
);

主要过程还是配置job的reader，processor，writer，下面是配置文件中的reader，processor，wirter，如下配置文件：

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
< beans  xmlns = "http://www.springframework.org/schema/beans"
     xmlns:xsi = "http://www.w3.org/2001/XMLSchema-instance"  xmlns:batch = "http://www.springframework.org/schema/batch"
     xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.0.xsd
         http://www.springframework.org/schema/batch http://www.springframework.org/schema/batch/spring-batch.xsd">
     
     < bean  id = "exceptionHandler"  class = "com.lyx.batch.ExceptionListener"  />
 
     < batch:step  id = "abstractStep"  abstract = "true" >
         < batch:listeners >
             < batch:listener  ref = "exceptionHandler"  />
         </ batch:listeners >
     </ batch:step >
     < bean  id = "abstractCursorReader"  abstract = "true"
         class = "org.springframework.batch.item.database.JdbcCursorItemReader" >
         < property  name = "dataSource"  ref = "dataSource"  />
     </ bean >
 
     < batch:job  id = "addPeopleDescJob" >
         < batch:step  id = "addDescStep"  parent = "abstractStep" >
             < batch:tasklet >
                 < batch:chunk  reader = "peopleAddDescReader"  processor = "addDescProcessor"
                     writer = "addDescPeopleWriter"  commit-interval = "2" />
             </ batch:tasklet >
         </ batch:step >
     </ batch:job >
     < bean  id = "peopleAddDescReader"  parent = "abstractCursorReader"
         scope = "step" >
         < property  name = "sql" >
             < value > <![CDATA[select first_name ,last_name from people where 
             first_name like ? or last_name like ?]]> </ value >
         </ property >
         < property  name = "rowMapper"  ref = "peopleRowMapper"  />
         < property  name = "preparedStatementSetter"  ref = "preparedStatementSetter"  />
         < property  name = "fetchSize"  value = "20"  />
     </ bean >
     < bean  id = "peopleRowMapper"  class = "com.lyx.batch.PeopleRowMapper"  />
     < bean  id = "preparedStatementSetter"  class = "com.lyx.batch.PeoplePreparedStatementSetter"  />
     < bean  id = "addDescProcessor"  class = "com.lyx.batch.AddPeopleDescProcessor"  />
     < bean  id = "addDescPeopleWriter"  class = "com.lyx.batch.AddDescPeopleWriter"  >
         < property  name = "dataSource"  ref = "dataSource" />
     </ bean >
     
     <!--tomcat jdbc pool数据源配置 -->
     < bean  id = "dataSource"  class = "org.apache.tomcat.jdbc.pool.DataSource"
         destroy-method = "close" >
         < property  name = "poolProperties" >
             < bean  class = "org.apache.tomcat.jdbc.pool.PoolProperties" >
                 < property  name = "driverClassName"  value = "com.mysql.jdbc.Driver"  />
                 < property  name = "url"  value = "jdbc:mysql://localhost:3306/test"  />
                 < property  name = "username"  value = "root"  />
                 < property  name = "password"  value = "034039"  />
             </ bean >
         </ property >
     </ bean >
     
     <!-- spring batch 配置jobRepository -->
     < batch:job-repository  id = "jobRepository"
         data-source = "dataSource"  transaction-manager = "transactionManager"
         isolation-level-for-create = "REPEATABLE_READ"  table-prefix = "BATCH_"
         max-varchar-length = "1000"  />
     <!-- spring的事务管理器 -->
     < bean  id = "transactionManager"
         class = "org.springframework.jdbc.datasource.DataSourceTransactionManager" >
         < property  name = "dataSource"  ref = "dataSource"  />
     </ bean >
 
     <!-- batch luncher -->
     < bean  id = "jobLauncher"
         class = "org.springframework.batch.core.launch.support.SimpleJobLauncher" >
         < property  name = "jobRepository"  ref = "jobRepository"  />
     </ bean >
</ beans >

对应的类：


PeopleRowMapper.java

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
package  com.lyx.batch;
 
import  java.sql.ResultSet;
import  java.sql.SQLException;
 
import  org.springframework.jdbc.core.RowMapper;
 
public  class  PeopleRowMapper  implements  RowMapper<People> {
 
     public  People mapRow(ResultSet rs,  int  rowNum)  throws  SQLException {
         People p =  new  People();
         p.setFirstName(rs.getString( "first_name" ));
         p.setLastName(rs.getString( "last_name" ));
         return  p;
     }
 
}


PeoplePreparedStatementSetter.java

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
package  com.lyx.batch;
 
import  java.sql.PreparedStatement;
import  java.sql.SQLException;
 
import  org.springframework.jdbc.core.PreparedStatementSetter;
 
public  class  PeoplePreparedStatementSetter  implements  PreparedStatementSetter {
 
     public  void  setValues(PreparedStatement ps)  throws  SQLException {
         // TODO Auto-generated method stub
         ps.setString( 1 ,  "%JOHN%" );
         ps.setString( 2 ,  "%DOE%" );
     }
}


AddPeopleDescProcessor.java

?
1
2
3
4
5
6
7
8
9
10
11
12
package  com.lyx.batch;
 
import  org.springframework.batch.item.ItemProcessor;
 
public  class  AddPeopleDescProcessor  implements
         ItemProcessor<People, PeopleDESC> {
 
     public  PeopleDESC process(People item)  throws  Exception {
         return  new  PeopleDESC(item.getLastName(), item.getFirstName(), Thread
                 .currentThread().getName());
     }
}


AddDescPeopleWriter.java

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
package  com.lyx.batch;
 
import  java.util.List;
 
import  javax.sql.DataSource;
 
import  org.springframework.batch.item.ItemWriter;
import  org.springframework.jdbc.core.JdbcTemplate;
 
public  class  AddDescPeopleWriter  implements  ItemWriter<PeopleDESC> {
 
     private  JdbcTemplate jdbcTemplate;
 
     public  void  setDataSource(DataSource dataSource) {
         this .jdbcTemplate =  new  JdbcTemplate(dataSource);
     }
 
     public  void  write(List<?  extends  PeopleDESC> items)  throws  Exception {
         for  (PeopleDESC peopleDESC : items) {
             this .jdbcTemplate
                     .update( "insert into ok_people (first_name, last_name, batch_desc) values (?, ?, ?)" ,
                             peopleDESC.getFirstName(),
                             peopleDESC.getLastName(), peopleDESC.getDesc());
         }
     }
 
}


===================END===================

bigcakewshwl
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spring batch mysql_Spring批处理 - JdbcCursorItemReader使用大型MySQL表抛出OutOfMemoryError
weixin_26820427的博客
02-11 482
我正在编写一个使用Spring Batch处理来自MySQL数据库表的7,637,064行的程序。我已经用较小的表获得成功，但当JdbcCursorItemReader试图打开游标时，此表中的大量行会导致OutOfMemoryError异常。Spring批处理 - JdbcCursorItemReader使用大型MySQL表抛出OutOfMemoryError我可以通过抛出一个更大的Xmx来解决这...
Spring Batch之读数据库——JdbcCursorItemReader（三十五）
qq_21370419的博客
03-08 4007
一、JdbcCursorItemReader结构及关键属性 JdbcCursorItemReader将数据库记录转换为Java对象时主要有两步工作：首先根据PreparedStatement从数据库中获取结果集ResultSet；然后使用RowMapper将结果集ResultSet转换为Java对象。 二、关键接口、类和关键属性 1.JdbcCursorItemReader关键接口、类 关键类 说明 DataSource 提供读取数据库的数据源信息 PreparedState
java jdbc批处理框架_SpringBatch批处理框架：入门项目
weixin_33615688的博客
02-28 197
1、项目结构如下：2、文件说明：2.1、CreditBill：表示信用卡消费记录领域对象2.2、CreditBillProcessor：记录处理类，本场景仅打印信息2.3、credit-card-bill-201910.csv：原始账单数据2.4、job.xml:作业定义文件2.5、job-context.xml :Spring Batch 批处理任务需要的基础信息2.6、JobLaunch：调用...
SpringBatchExample:描述使用JdbcTemplate和NamedParameterJdbcTemplate的Spring批处理更新操作
05-22
Spring JDBC Batch更新示例 Example application describes how to perform batch operation with spring JdbcTemplate class. ＃技术堆栈。 1. Spring核心jdbc模块。 2. H2嵌入式数据库。 3. Gradle构建脚本。 4.Lombok框架。 ＃先决条件。 1. JDK6 + 2. Gradle。
Spring Batch之读数据库—JdbcPagingItemReader（四十一）
qq_21370419的博客
07-19 1112
Spring Batch之读数据库—JdbcPagingItemReader（四十一）
springboot-batch-master.zip_hallu91_spring_springbatch_springboo
09-24
【标题】"springboot-batch-master.zip_hallu91_spring_springbatch_springboo" 暗示这是一个关于Spring Boot集成Spring Batch的项目示例。Spring Batch是Spring框架的一部分，专门用于处理批量处理任务，而Spring ...
SpringBatch_Hieu01
06-12
SpringBatch 是一个强大的Java...总的来说，"SpringBatch_J03"着重于SpringBatch的使用，通过实践项目"SpringBatch_Hieu01-master"，你可以学习到如何利用这个框架来解决批量数据处理问题，提升项目的效率和可靠性。
springDemo_spring_
10-01
9. **Spring Batch**：用于处理批量处理任务，提供了一套完整的解决方案，包括读取、处理和写入大量数据。 10. **Spring Cloud**：对于分布式系统开发，Spring Cloud提供了服务发现、配置中心、负载均衡、熔断机制...
springBoot+springBatch批量处理数据demo
02-29
在这个“springBoot+springBatch批量处理数据demo”中，我们将探讨如何将这两个强大的工具结合在一起，实现高效的数据处理。 首先，SpringBoot的核心特性在于其自动配置，它通过`@SpringBootApplication`注解自动...
springbatch_嵌入式jetty_动态控制的quartz
12-05
支持web接口的批处理框架 ...springmvc4.0.7 springbatch3.0.7 quartz2.2.3 mysql5.6 oracle11g junit4.11 log4j1.2.17 mybatis3.4.1 druid1.0.17 smg3(决策引擎) jetty8.1.5 fastjson1.2.7 springjdbc3.2.14
Spring Batch之读数据库——JdbcCursorItemReader之使用框架提供的BeanPropertyRowMapper（三十六）
qq_21370419的博客
07-17 1153
Spring Batch之读数据库——JdbcCursorItemReader之使用框架提供的BeanPropertyRowMapper（三十六）
Spring Batch 写数据库教程
neweastsun的专栏
10-03 2290
Spring Batch 写数据库教程 上文我们学习如何读数据库，本文我们看如何通过Spring Batch写数据库。 1.需求及环境准备 1.1. 示例需求说明 需要实现把在线学习系统中的学生信息通过Srping job写入数据库，单个学生信息类如下：学生姓名、电子邮件、已购学习包。写数据库之前，我们需要提供输入数据组件。本例我们使用StudentDto对象，其包括单个学生信息： @Data p...
Spring Batch学习之路
愤怒的怪叔叔
10-11 9809
文章目录导读Spring Batch简介业务方案技术目标：Spring Batch的结构：框架流程简单介绍Spring Batch流程介绍：Step执行过程：Sample（Hello World）说明：工程结构application.xml文件配置如下：spring-batch-hello.xml文件配置如下：writeTasklet类的代码如下：启动类HelloJobLaunch类的代码如下：S...
批处理框架SpringBatch这么强，你会用吗？
hnjsjsac的博客
07-06 627
spring batch简介spring batch是spring提供的一个数据处理框架。企业域中的许多应用程序需要批量处理才能在关键任务环境中执行业务操作。这些业务运营包括：无需用户交互...
JDBC批量读取优化-fetchSize
u011250186的博客
12-20 1184
JDBC批量读取优化-fetchSize
Spring Batch(6)——数据库批数据读写
justlpf的专栏
03-17 1289
因此当数据写入与整个Step绑定为事物时还需要实现一个控制过程是：在写入数据的过程中出现异常时要擦除本次事物已经写入的数据，这样才能和整个Step的状态保持一致。，因为数据库的各种链接池本身就保证了链接->写入->释放的高效执行，也不存在向队尾添加数据的问题。Spring Batch为不同类型的文件的写入提供了多个实现类，但并没有为数据库的写入提供任何实现类，而是交由开发者自己去实现接口。因此，对于数据库的写入操作只要按照常规的批量数据写入的方式即可，开发者使用任何工具都可以完成这个过程。
PostgreSQL JDBC 源码分析之fetchSize
臭脚大仙
12-18 6725
JDBC的statement对象，有一个setFetchSize方法，参数是一个int值，其作用是，执行查询时，一次从服务器端拿多少行的数据到本地jdbc客户端这里来 还有一个方法:setMaxRows，这个方法，作用是JDBC最多返回多少行数据给调用者。举个例子： 一个表，有100行数据，sql语句为select * from table，fetchsize设置为20，maxrows设置为5
JDBC读取数据优化-fetch size
热门推荐
bisal的专栏
09-17 3万+
最近由于业务上的需求，一张旧表结构中的数据，需要提取出来，根据规则，导入一张新表结构中，开发同学写了一个工具，用于实现新旧结构的transformation，   实现逻辑简单，就是使用jdbc从A表读出数据，做了一些处理，再存入新表B中，发现读取旧表的操作，非常缓慢，无法满足要求。 读取数据的示例代码， conn = getConnection(); long start = Syst...
java cursor属性_java-在JdbcCursorItemReader中将作业参数用作准备好的语句参数
weixin_32534669的博客
02-28 540
我有一个作业必须使用不同的作业参数运行多次.我想设置一个JdbcCursorItemReader来执行作业查询,itemReader的配置如下：class="org.springframework.batch.item.database.JdbcCursorItemReader">作业配置如下：processor="tpsItemProcessor"writer="tpsItemWriter...
batch_cnt 和batch_size的区别
最新发布
05-04
batch_cnt和batch_size都与深度学习中的mini-batch有关，但是它们的含义略有不同。 batch_size指的是每个mini-batch中包含的样本数量，通常情况下，我们会将训练数据分成若干个mini-batch进行训练。batch_size的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值