SpringBatch读文件(FlatFileItemReader)写据库(MyBatisBatchItemWriter)(四)

最新推荐文章于 2024-07-15 00:06:55 发布
最新推荐文章于 2024-07-15 00:06:55 发布
阅读量5.3k 收藏 5
点赞数 1
分类专栏： SpringBatch学习之路 java技能提升 springboot系列文章
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TreeShu321/article/details/100712036
版权

文章目录

前言：我们在日常开发中可能会遇到写数据库，SpringBatch封装的也有写数据库的Writer，但是我们这次做实验用的是Mybatis封装的MyBatisBatchItemWriter

代码已上传GitHub上面地址：https://github.com/FadeHub/spring-boot-learn/tree/master/spring-boot-springbatch

注意：本章job使用的所有实体类均是上一章SpringBatch读数据库(MyBatisPagingItemReader)(三)的实体，所以这一章
就不在一一列举了。

SpringBatch其它文章直通车：

SpringBatch读单个文件(FlatFileItemReader)和写单个文件(FlatFileItemWriter)(一)
SpringBatch顺序读取多文件(M

了解本专栏 订阅专栏 解锁全文 超级会员免费看
境里婆娑
关注
专栏目录
订阅专栏
SpringBatch读单个文件(FlatFileItemReader)和写单个文件(FlatFileItemWriter)(一)
境里婆娑
09-07 1万+
文章目录一、初始化springbatch表二、抽取公共读文件reader三、抽取公共处理的process四、公共写文件 writer五、一个简单的job1、创建config类2、创建process3、公共constants六、运行job 前言：springbatch是一个轻量级的批处理框架，在企业级应用中，我们常见一些批处理业务场景，借助Spring Batch我们可以很方便的开发出健壮、易用的...
springbatch读取文件_Spring Batch读取txt文件并写入数据库的方法教程
weixin_39876645的博客
12-22 2028
项目需求近日需要实现用户推荐相关的功能，也就是说向用户推荐他可能喜欢的东西。我们的数据分析工程师会将用户以及用户可能喜欢的东西整理成文档给我，我只需要将数据从文档中读取出来，然后对数据进行进一步的清洗(例如去掉特殊符号，长度如果太长则截取)。然后将处理后的数据存入数据库(Mysql)。所以分为三步：读取文档获得数据对获得的数据进行处理更新数据库(新增或更新)考虑到这个数据量以后会越来越大，这里没有...
SpringBoot + SpringBatch + Mybatis + Scheduled 定时任务数据批处理
fivehundredyearsago的博客
03-02 2313
pom文件： 批处理包 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-batch</artifactId> </dependency> 定时任务包 <dependency> <groupId>org.quartz-scheduler</groupI
FlatFileItemReader 和 FlatFileItemWriter 使用案例
最新发布
qq_45626589的博客
07-15 914
字段的名称可以被注入到这些LineTokenizer实现中，以提高 Map 函数的可读性。但是，它们仅代表文件读取的一半。许多使用平面文件的组织都使用固定长度格式。最基本的平面文件格式是其中所有字段都由定界符分隔的格式。以下示例说明了如何读取具有实际场景的FlatFile。Client：Order 商品的 Client 的 ID-9 个字符长。ISIN：所 Order 商品的唯一标识符-12 个字符长。数量：所 Order 商品的数量-3 个字符长。觉得数据太密，其实可以加宽每个字段的长度，如+2。
Mybatis中 foreach、batch、MyBatisBatchItemWriter批处理性能测试
D_19901719576的博客
09-05 5944
Mybatis中 foreach、batch、MyBatisBatchItemWriter批处理性能测试Mybatis批处理的几种方式相关说明必读Mybatis foreachMybatis batchMyBatisBatchItemWriter两种实验结果结论思考 Mybatis批处理的几种方式 最近研究到Mybatis-Spring整合包，发现其中对Spring batch(Spring开源的...
SpringBatch从入门到实战(八)：ItemWriter
人不风流枉少年
06-12 624
Spring Batch默认提供装配器有2个：JacksonJsonObjectMarshaller GsonJsonObjectMarshaller 分别对应Jackson 跟 Gson 2种json格式解析逻辑。
MyBatisBatchItemWriter Cannot change the ExecutorType when there is an existing transaction
weixin_34115824的博客
08-30 1113
但凡使用mybatis，同时与spring集成使用时，接下来要说的这个问题是躲不了的。众所周知，mybatis的SqlSessionFactory在获取一个SqlSession时使用默认Executor或必须要指定一个Executor，这样一来，在同一个SqlSession的生命周期中，要想切换Executor是不可能的，比如在一个复杂业务中： sqlSession.insert("insert...
SpringBatch(10):ItemWriter详解
不积跬步，无以至千里
09-14 1832
SpringBatch用于数据的批处理，那么它包含数据的输入ItemReader，处理ItemProcessor，输出ItemWriter。
Java中如何读取文件夹下的所有文件
暴走的山交君的博客
07-12 3609
Java里面是如何读取一个文件夹下的所有文件的？ Java 8里面有个Files.walk API 回答二 这个例子使用到了 API 指引推荐使用的try-with-resources pattern 。它确保了无论任何情况stream都会关闭。 回答三 在Java8里面你可以这样干 这会打印文件夹下的所有除了目录以外的文件，如果你需要一个list，你可以这样干 如果你想要返回 List而不是List ，直接映射就完事了 你也同样要保证关闭stream。否则你会遇到异常，说你打开太多文件了Files.wal
SpringBatch 写xml文件(StaxEventItemWriter)用法(十四)
境里婆娑
09-20 895
文章目录一、pom文件引入需要读取xml文件jar包二、抽取写xml文件公共writer三、processor四、配置写xml文件job五、执行job 前言：在一些业务场景中，可能需要读取xml文件，做业务逻辑处理，SpringBatch已经帮我们封装好了读取xml的reader SpringBatch其它文章直通车： SpringBatch读单个文件(FlatFileItemReader)...
SpringBatch+Spring+Mybatis+MySql (spring batch 使用jar)
04-01
Spring Batch是一个轻量级的，完全面向Spring的批处理框架，可以应用于企业级大量的数据处理系统。Spring Batch以POJO和大家熟知的Spring框架为基础，使开发者更容易的访问和利用企业级服务。Spring Batch可以提供大量的，可重复的数据处理功能，包括日志记录/跟踪，事务管理，作业处理统计工作重新启动、跳过，和资源管理等重要功能。 业务方案： 1、批处理定期提交。 2、并行批处理：并行处理工作。 3、企业消息驱动处理 4、大规模的并行处理 5、手动或是有计划的重启 6、局部处理：跳过记录（如：回滚） 技术目标： 1、利用Spring编程模型：使程序员专注于业务处理，让Spring框架管理流程。 2、明确分离批处理的执行环境和应用。 3、提供核心的，共通的接口。 4、提供开箱即用（out of the box）的简单的默认的核心执行接口。 5、提供Spring框架中配置、自定义、和扩展服务。 6、所有存在的核心服务可以很容的被替换和扩展，不影响基础层。 7、提供一个简单的部署模式，利用Maven构建独立的Jar文件。
springbatch mybatis 代码
06-23
springbatch mybatis
SpringBatch顺序读取多文件(MultiResourceItemReader)和顺序写文件(MultiResourceItemWriter)(二)
境里婆娑
09-08 7134
文章目录一、抽取读取多文件公共reader二、读取多文件job三、运行结果 前言：上一章我们讲解了SpringBatch读取单个文件和写文件的具体用法，这一张我们继续讲解读取多个文件的用法。 我们在一些特殊的业务场景中，需要顺序读取多个文件，幸运的是SpringBatch已经给我们提供了公共Reader MultiResourceItemReader 一、抽取读取多文件公共reader Com...
SpringBatch读数据库(MyBatisPagingItemReader)(三)
热门推荐
境里婆娑
09-09 1万+
文章目录一、抽取顺序读取数据库公共reader二、封装实体三、mapper配置文件四、配置文件application.properties五、读取数据库job六、继承公共CommonProcesor七、执行job 前言：我们在日常开发中可能会遇到读取数据库，SpringBatch封装的也有读取数据库的Reader，但是我们这次做实验用的是Mybatis封装的MyBatisPagingItemRe...
【官方中文文档】Mybatis-Spring #使用 Spring Batch
qq_62283694的博客
08-22 1727
【官方中文文档】Mybatis-Spring #使用 Spring Batch
java读取本地文件夹下的文件,java读取某个文件夹下的所有文件
weixin_39783915的博客
03-16 1010
import java.io.FileNotFoundException;import java.io.IOException;import java.io.File;public class ReadFile {public ReadFile() {}/*** 读取某个文件夹下的所有文件*/public static boolean readfile(String filepath) throw...
springbatch读取文件_SpringBatch Sample (五)（复合格式文件的读、多文件的写）
weixin_40006965的博客
12-22 340
前面关于Spring Batch的文章，讲述了SpringBatch对CSV文件的读写操作、对XML文件的操作，以及对固定长格式文件的操作。这些事例，同一个Reader读取的都是相同格式的数据，最终写入一个文件。如果遇到下面这样的数据，并想将学生信息和商品信息分类后写入两个文件，应该如何处理呢？student,200001,ZhangSan,18,78goodsPNH001011000200.1z...
java中batch基础_Spring batch 入门学习教程(附源码)
weixin_42134144的博客
02-25 2112
Spring batch 是一个开源的批处理框架.执行一系列的任务. 在 spring batch 中 一个job 是由许多 step 组成的。而每一个 step 又是由 READ-PROCESS-WRITE task或者 单个 task 组成。1. "READ-PROCESS-WRITE" 处理，根据字面意思理解就可以:READ 就是从资源文件里面读取数据，比如从xml文件,csv文件,数据库...
springbatch框架使用FlatFileItemReader读取文件内容时，如何获取数据在文件的哪一行？
07-11
在Spring Batch框架中，FlatFileItemReader是用于读取平面文件内容的读取器。要获取数据在文件的哪一行，可以通过自定义LineMapper来实现。 1. 创建自定义LineMapper类：创建一个实现LineMapper接口的自定义类，用于映射文件的每一行数据到对象。在该类中，可以通过实现mapLine方法来获取数据所在的行号。 ```java public class CustomLineMapper implements LineMapper<YourObject> { private LineMapper<YourObject> delegate; @Override public YourObject mapLine(String line, int lineNumber) throws Exception { // 获取数据所在的行号 System.out.println("Data at line " + lineNumber + ": " + line); // 调用委托的LineMapper来映射数据到对象 return delegate.mapLine(line, lineNumber); } // 设置委托的LineMapper public void setDelegate(LineMapper<YourObject> delegate) { this.delegate = delegate; } } ``` 2. 配置FlatFileItemReader：在Spring Batch的作业配置文件中，配置FlatFileItemReader并设置自定义的LineMapper。 ```xml <bean id="customLineMapper" class="com.example.CustomLineMapper"> <property name="delegate" ref="yourObjectLineMapper" /> </bean> <bean id="yourObjectLineMapper" class="org.springframework.batch.item.file.mapping.DefaultLineMapper"> <property name="lineTokenizer"> <bean class="org.springframework.batch.item.file.transform.DelimitedLineTokenizer"> <!-- 配置文件中的分隔符 --> <property name="delimiter" value="," /> </bean> </property> <property name="fieldSetMapper"> <bean class="com.example.YourObjectFieldSetMapper" /> </property> </bean> <bean id="flatFileItemReader" class="org.springframework.batch.item.file.FlatFileItemReader"> <property name="resource" value="file:/path/to/your/file.csv" /> <property name="lineMapper" ref="customLineMapper" /> </bean> ``` 在上述配置中，自定义的LineMapper中可以通过传入的lineNumber参数获取数据所在的行号。在mapLine方法中，你可以根据需要进行处理，比如输出行号或者将行号保存到对象中。 通过以上配置，你可以获取到数据在文件的哪一行。注意，FlatFileItemReader是按行读取文件内容的，因此可以利用行号来跟踪数据在文件中的位置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

境里婆娑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值