Spring Batch之读数据—读混合记录文件（三十）

最新推荐文章于 2023-12-11 15:32:54 发布
最新推荐文章于 2023-12-11 15:32:54 发布
阅读量232 收藏 1
点赞数
分类专栏： Spring Batch 文章标签： spring batch java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21370419/article/details/123268307
版权

一、读混合记录文件

Spring Batch之读数据—Flat格式文件（二十四）_人……杰的博客-CSDN博客_flat文件

二、项目实例

1.项目框架

2.代码实现

(1)BatchMain.java

package com.xj.demo23;

import org.springframework.batch.core.Job;
import org.springframework.batch.core.JobExecution;
import org.springframework.batch.core.JobParameters;
import org.springframework.batch.core.launch.JobLauncher;
import org.springframework.context.ApplicationContext;
import org.springframework.context.support.ClassPathXmlApplicationContext;

/**
 * @Author : xjfu
 * @Date : 2021/10/26 20:01
 * @Description : demo23 读混合记录文件
 */
public class BatchMain {
    public static void main(String[] args) {

        ApplicationContext context = new ClassPathXmlApplicationContext("demo23/job/demo23-job.xml");
        //Spring Batch的作业启动器,
        JobLauncher launcher = (JobLauncher) context.getBean("jobLauncher");
        //在batch.xml中配置的一个作业
        Job job  = (Job)context.getBean("billJob");

        try{
            //开始执行这个作业,获得处理结果(要运行的job,job参数对象)
            JobExecution result = launcher.run(job, new JobParameters());
            System.out.println(result.toString());
        }catch (Exception e){
            e.printStackTrace();
        }
    }
}

(2)CredibBill.java

package com.xj.demo23;

/**
 * @Author : xjfu
 * @Date : 2021/10/26 19:27
 * @Description :信用卡类
 */
public class CreditBill {
    //银行卡账户ID
    private String accountID = "";
    //持卡人姓名
    private String name = "";
    //消费金额
    private double amount = 0;
    //消费日期
    private String date = "";
    //消费场所
    private String address = "";

    public String getAccountID() {
        return accountID;
    }

    public void setAccountID(String accountID) {
        this.accountID = accountID;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public double getAmount() {
        return amount;
    }

    public void setAmount(double amount) {
        this.amount = amount;
    }

    public String getDate() {
        return date;
    }

    public void setDate(String date) {
        this.date = date;
    }

    public String getAddress() {
        return address;
    }

    public void setAddress(String address) {
        this.address = address;
    }

    @Override
    public String toString() {
        return this.accountID + "," + this.name + "," + this.amount + "," + this.date + "," + this.address;
    }
}

(3)DebitBill.java

package com.xj.demo23;

/**
 * @Author : xjfu
 * @Date : 2021/10/26 19:27
 * @Description :借贷卡类
 */
public class DebitBill {
	private String accountID = "";	/** 银行卡账户ID */
	private String name = "";		/** 持卡人姓名 */
	private double amount = 0;		/** 消费金额 */
	private String date;			/** 消费日期 ，格式YYYY-MM-DD HH:MM:SS*/
	private String address;			/** 消费场所 **/
	
	public String getAccountID() {
		return accountID;
	}
	public void setAccountID(String accountID) {
		this.accountID = accountID;
	}
	public String getName() {
		return name;
	}
	public void setName(String name) {
		this.name = name;
	}
	public double getAmount() {
		return amount;
	}
	public void setAmount(double amount) {
		this.amount = amount;
	}
	public String getDate() {
		return date;
	}
	public void setDate(String date) {
		this.date = date;
	}
	
	public String getAddress() {
		return address;
	}
	public void setAddress(String address) {
		this.address = address;
	}
	/**
	 * 
	 */
	public String toString(){
		StringBuffer sb = new StringBuffer();
		sb.append("accountID=" + getAccountID() + ";name=" + getName() + ";amount="
				+ getAmount() + ";date=" + getDate());
		return sb.toString();
	}
}

(4)CreditBillFieldSetMapper.java

package com.xj.demo23;

import org.springframework.batch.item.file.mapping.FieldSetMapper;
import org.springframework.batch.item.file.transform.FieldSet;
import org.springframework.validation.BindException;

/**
 * 信用卡数据转换类，将40*格式的记录转换为领域对象CreditBill
 */
public class CreditBillFieldSetMapper implements FieldSetMapper<CreditBill> {

	public CreditBill mapFieldSet(FieldSet fieldSet) throws BindException {
		CreditBill result = new CreditBill();
		result.setAccountID(fieldSet.readString("accountID"));
		result.setName(fieldSet.readString("name"));
		result.setAmount(fieldSet.readDouble("amount"));
		result.setDate(fieldSet.readString("date"));
		result.setAddress(fieldSet.readString("address"));
		return result;
	}
}

(5)DebitBillFieldSetMapper.java

package com.xj.demo23;

import org.springframework.batch.item.file.mapping.FieldSetMapper;
import org.springframework.batch.item.file.transform.FieldSet;
import org.springframework.validation.BindException;

/**
 * 借贷卡数据转换类，将30*格式的记录转换为领域对象DebitBill
 */
public class DebitBillFieldSetMapper implements FieldSetMapper<DebitBill> {

	public DebitBill mapFieldSet(FieldSet fieldSet) throws BindException {
		DebitBill result = new DebitBill();
		result.setAccountID(fieldSet.readString("accountID"));
		result.setName(fieldSet.readString("name"));
		result.setAmount(fieldSet.readDouble("amount"));
		result.setDate(fieldSet.readString("date"));
		return result;
	}
}

(6)demo23-job.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:batch="http://www.springframework.org/schema/batch"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/batch http://www.springframework.org/schema/batch/spring-batch.xsd">

    <!--导入文件-->
    <import resource="classpath:demo23/job/demo23-jobContext.xml"/>

    <!--定义名字为billJob的作业-->
    <batch:job id="billJob">
        <!--定义名字为billStep的作业步-->
        <batch:step id="billStep">
            <batch:tasklet transaction-manager="transactionManager">
                <!--定义读、处理、写操作，规定每处理两条数据，进行一次写入操作，这样可以提高写的效率-->
                <batch:chunk reader="csvItemReader" writer="csvItemWriter" commit-interval="2">
                </batch:chunk>
            </batch:tasklet>
        </batch:step>
    </batch:job>
</beans>

(7)demo23-jobContext.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd">

    <!--定义作业仓库 Job执行期间的元数据存储在内存中-->
    <bean id="jobRepository" class="org.springframework.batch.core.repository.support.MapJobRepositoryFactoryBean"/>

    <!--定义作业调度器，用来启动job-->
    <bean id="jobLauncher" class="org.springframework.batch.core.launch.support.SimpleJobLauncher">
        <!--注入jobRepository-->
        <property name="jobRepository" ref="jobRepository"/>
    </bean>

    <!--定义事务管理器，用于Spring Batch框架中对数据操作提供事务能力-->
    <bean id="transactionManager" class="org.springframework.batch.support.transaction.ResourcelessTransactionManager"/>

    <!--读取信用卡账单文件，CSV 格式-->
    <!--使用FlatFileItemReader读文本文件-->
    <bean id="csvItemReader" class="org.springframework.batch.item.file.FlatFileItemReader" scope="step">
        <!--指定读取的资源文件-->
        <property name="resource" value="classpath:demo23/data/demo23-heterogonousFile.csv"/>
        <property name="lineMapper" ref="lineMapper"/>
    </bean>

    <bean id="lineMapper" class="org.springframework.batch.item.file.mapping.PatternMatchingCompositeLineMapper">
        <property name="tokenizers">
            <map>
                <!--以40开头的通过creditBillRecordTokenizer处理记录-->
                <entry key="40*" value-ref="creditBillRecordTokenizer"/>
                <!--以30开头的通过debitBillRecordTokenizer处理记录-->
                <entry key="30*" value-ref="debitBillRecordTokenizer"/>
            </map>
        </property>
        <property name="fieldSetMappers">
            <map>
                <!--信用卡数据转换类，将40*格式的记录转换为领域对象CreditBill-->
                <entry key="40*" value-ref="creditBillFieldSetMapper"/>
                <!--借贷卡数据转换类，将30*格式的记录转换为领域对象DebitBill-->
                <entry key="30*" value-ref="debitBillFieldSetMapper"/>
            </map>
        </property>
    </bean>

    <bean id="creditBillRecordTokenizer" parent="parentLineTokenizer">
        <property name="names" value="accountID,name,amount,date,address" />
    </bean>

    <bean id="debitBillRecordTokenizer" parent="parentLineTokenizer">
        <property name="names" value="accountID,amount,name,date" />
    </bean>

    <bean id="parentLineTokenizer" abstract="true" class="org.springframework.batch.item.file.transform.DelimitedLineTokenizer">
        <!--以“,”为分隔符-->
        <property name="delimiter" value=","/>
    </bean>

    <!--信用卡数据转换类-->
    <bean id="creditBillFieldSetMapper" class="com.xj.demo23.CreditBillFieldSetMapper"/>

    <!--借贷卡数据转换类-->
    <bean id="debitBillFieldSetMapper" class="com.xj.demo23.DebitBillFieldSetMapper"/>

    <!--注入实体类-->
    <bean id="creditBill" class="com.xj.demo23.CreditBill" scope="prototype"/>

    <!--写信用卡账单文件，CSV格式-->
    <bean id="csvItemWriter" class="org.springframework.batch.item.file.FlatFileItemWriter" scope="step">
        <!--要写入的文件位置,因为[classpath:]不是一个具体的目录,这里应当用[file:](从项目根目录开始)指明输出位置-->
        <property name="resource" value="file:src/main/resources/demo23/data/demo23-outputFile.csv"/>
        <!--[lineAggregator成员]指明行聚合器,用来将对象输出到文件时构造文件中的每行的格式-->
        <property name="lineAggregator">
            <!--这里使用Spring Batch自带的DelimitedLineAggregator来作为行聚合器(可以拼接一个个属性形成行)-->
            <bean class="org.springframework.batch.item.file.transform.DelimitedLineAggregator">
                <!--使用","拼接-->
                <property name="delimiter" value=","/>
                <!--fieldExtractor成员用来将Java类的属性组成的数组拼接成行字符串-->
                <property name="fieldExtractor">
                    <bean class="org.springframework.batch.item.file.transform.BeanWrapperFieldExtractor">
                        <property name="names" value="accountID,name,amount,date,address">
                        </property>
                    </bean>
                </property>
            </bean>
        </property>
    </bean>
</beans>

(8)demo23-heterogonousFile.csv

4047390012345678,tom,100.00,2013-2-2 12:00:08,Lu Jia Zui road
3047390012345671,249.10,rose,2013/4/1 11:34:56
4047390012345678,tom,320.00,2013-2-3 10:35:21,Lu Jia Zui road
3047390012345671,249.10,rose,2013/4/1 11:34:56
4047390012345678,tom,674.70,2013-2-6 16:26:49,South Linyi road
3047390012345673,840.20,marry,2013/4/3 3:21:43
4047390012345678,tom,793.20,2013-2-9 15:15:37,Longyang road
4047390012345678,tom,360.00,2013-2-11 11:12:38,Longyang road
4047390012345678,tom,893.00,2013-2-28 20:34:19,Hunan road

3.运行结果

 

人……杰
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
全网最详细SpringBatch读(Reader)混合文件讲解
境里婆娑
12-08 2169
文章列表一、读混合记录文件1、FieldSetMapper实现2、LineTokenizer实现3、混合读reader实现类4、读混合文件job配置5、读混合文件processor6、读混合文件writer 写在前面： 我是「境里婆娑」。我还是从前那个少年，没有一丝丝改变，时间只不过是考验，种在心中信念丝毫未减，眼前这个少年，还是最初那张脸，面前再多艰险不退却。 写博客的目的就是分享给大家一起学习交流，如果您对 Java感兴趣，可以关注我，我们一起学习。 前言：在工作中可能会遇到一个文件存在多种不同的记
spring batch 读取多个文件数据导入数据库示例
08-31
本篇文章主要介绍了spring batch 读取多个文件数据导入数据库示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Spring Batch之读数据—读记录跨多行文件（二十九）
qq_21370419的博客
03-03 537
一、跨多行文件 Spring Batch之读数据—Flat格式文件（二十四）_人……杰的博客-CSDN博客_flat文件 二、项目实例 1.项目框架 2.代码实现 (1)BatchMain.java package com.xj.demo22; import org.springframework.batch.core.Job; import org.springframework.batch.core.JobExecution; import org.springframework..
springbatch对多个文件读写数据操作
lyf_ldh的博客
08-04 3721
读数据： @Configuration public class ItemReaderMultiFileDemo { @Autowired private JobBuilderFactory jobBuilderFactory; @Autowired private StepBuilderFactory stepBuilderFactory; @Auto...
Spring Batch 读数据库教程
neweastsun的专栏
10-01 1880
Spring Batch 读数据库教程 实际Spring Batch项目中从数据库中读取信息很常用，本文介绍如何从数据库中读取数据，通过游标或分页方式读取。 示例需求说明 示例场景是在线学习应用，通过Spring Batch从数据库中导出学生信息，学生表的字段如下： email_address 列为学生邮件地址 contains the email address of the student. ...
spring batch使用reader读数据的内存容量问题详解
08-18
Spring Batch 使用 Reader 读数据的内存容量问题详解 Spring Batch 使用 Reader 读数据的内存容量问题是指在数据迁移过程中，如何避免内存溢出问题。这个问题的关键在于 Reader 的实现方式，当数据量非常大时，...
Spring Batch读取txt文件并写入数据库的方法教程
08-30
在本教程中，我们将探讨如何使用 Spring Batch 读取文本（txt）文件，并将读取到的数据处理后写入数据库。 首先，我们需要创建一个 Maven 项目，并在 `pom.xml` 文件中添加必要的依赖。这些依赖包括 `spring-boot-...
springBoot+springBatch批量处理数据demo
02-29
在这个“springBoot+springBatch批量处理数据demo”中，我们将探讨如何将这两个强大的工具结合在一起，实现高效的数据处理。 首先，SpringBoot的核心特性在于其自动配置，它通过`@SpringBootApplication`注解自动...
基于Spring Batch向Elasticsearch批量导入数据示例
08-27
基于Spring Batch向Elasticsearch批量导入数据示例 本文介绍了基于Spring Batch向Elasticsearch批量导入数据示例，旨在解决大规模数据从数据库导入Elasticsearch时的效率问题。Spring Batch框架使用ItemReader分页...
spring batch 读取多个文件数据导入数据库
02-28 746
项目的目录结构 需要读取文件的的数据格式 applicatonContext.xml的配置 <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.or...
spring-batch-excel:Spring Batch扩展，其中包含Excel的ItemReader实现。 提供对JExcel和Apache POI的支持
05-07
Spring-Batch-Excel Spring Batch扩展包含基于Excel的ItemReader实现。 它支持读取XLS和XLSX文件，后者还具有（实验性）流支持。 PoiItemReader具有最多的功能，但同时也是最耗费内存的，并且可能导致大型XLS（X）工作表出现内存问题。 为了减少内存占用，可以使用StreamingXlsxItemReader ，这只会将当前行保留在内存中，然后将其丢弃。 在流式传输XLSX文件时，并非所有功能都受支持，可能是公式未求值或导致错误。 PoiItemReader配置 除了的需要配置PoiItemReader 。 可以使用XML或Java Config进行配置。 XML格式 < bean id = " excelReader " class = " org.springframework.batch.extensions.excel
spring batch 通过配置文件的方法读文件
whxjason的博客
07-28 1205
spring batch提供了多种方式读数据，比如读文件，读数据库，读xml等，提供了丰富了实现类操作，也可以根据自己的需求实现接口ItemReader去自定义。 工作中我们常用的是读文件（.csv、.txt等格式文件）和读数据库。 这里主要讲读一般文件的配置方式： <batch:job id="readGoodsFileJob"> <batch:ste...
mysql mybatis list循环_Springbatch集成mybatis循环批量读取mysql
weixin_35976295的博客
01-27 309
这次写的功能是 实现springbatch的job每次调用、每次都会执行job里查询mysql列表的reader。因为碰到一个问题，批处理服务启动之后，调用job时，springbatch始终只处理一次，下次调用 显示已完成，原因就是初始化列表是服务启动时填充，只会填充一次，使用完之后不会再次填充列表，所以下次进入job数据为空。我们现在就解决这个问题，让job的每次调用都会从数据库获取最新的列表...
Spring Boot Batch FlatFileItemReader 针对于CSV换行处理方法分享
weixin_50011679的博客
12-11 899
Spring Batch 是 Spring 生态系统中用于批处理的强大框架，而其中的 FlatFileItemReader 是处理平面文件（如 CSV 文件）的关键组件之一。然而，在实际的应用场景中，CSV 文件中某些字段包含换行符可能是一个挑战。本文将分享一些处理这种情况的技巧，以确保 FlatFileItemReader 能够正确读取包含换行符的字段。如果你的 CSV 文件中的记录分隔符不是标准的换行符，或者你有其他特殊的需求，可以实现自定义的 RecordSeparatorPolicy。
跑批利器--读取文件
潛龍，勿用
12-29 5517
在上篇文章中已经对示例的基本业务和流程进行了解,同时也知道了SpringBatch的三个接口ItemReader,ItemProcessor,ItemWriter.接下来我们主要是通过示例来具体处理一个文本文件,将里面的数据和内容通过SpringBatch的加工处理来存到新的数据库中.       SpringBatch提供专门的类去读取文本文件:FlatFileItemReader.要用这个类
Spring Batch 批量处理策略
HONEY MOOSE
01-14 3242
为了帮助设计和实现批量处理系统，基本的批量应用是通过块和模式来构建的，同时也应该能够为程序开发人员和设计人员提供结构的样例和基础的批量处理程序。 当你开始设计一个批量作业任务的时候，商业逻辑应该被拆分一系列的步骤，而这些步骤又是可以通过下面的标准构件块来实现的： 转换应用程序（Conversion Applications）：针对每一个从外部系统导出或者提供的各种类型的文件，我们都需要创建一个...
10分钟搞定 Spring 批处理组件 —— spring-batch
m0_71777195的博客
08-13 6328
Spring Batch 是一个轻量级、全面的批处理框架，旨在支持开发对企业系统的日常运营至关重要的健壮。Spring Batch 建立在人们所期望的 Spring Framework 的特性（生产力、基于 POJO 的开发方法和一般易用性）之上，同时使开发人员可以在必要时轻松访问和利用更先进的企业服务。Spring Batch 不是调度框架。在商业和开源空间中都有许多优秀的企业调度程序（例如 Quartz、Tivoli、Control-M 等）可用。它旨在与调度程序一起工作，而不是取代调度程序。...
Spring Batch之读数据—读多文件（三十三）
qq_21370419的博客
07-16 1462
Spring Batch之读数据—读多文件（三十三）
Spring Batch(5)——文件读写
justlpf的专栏
03-17 1135
参考：https://cloud.tencent.com/developer/article/1460745在Spring batch由上至下的结构中Job、Step都是属于框架级别的的功能，大部分时候都是提供一些配置选项给开发人员使用，而Item中的Reader、Processor和Writer是属于业务级别的，它开放了一些业务切入的接口。 但是文件的读写过程中有很多通用一致的功能Spring Batch为这些相同的功能提供了一致性实现类。扁平结构文件（也称为矩阵结构文件，后文简称为文件）是最常见的一种文
springbatch读bat文件demo
最新发布
06-05
Spring Batch 是一个开源框架，用于大规模处理批处理作业。Spring Batch 提供了多种读写数据的方式，包括读取常规文件、XML 文件、数据库和 JMS 消息等。下面是一个 Spring Batch 读取 bat 文件的 demo： 1. 首先需要在 pom.xml 文件中添加 Spring Batch 的依赖： ``` <dependency> <groupId>org.springframework.batch</groupId> <artifactId>spring-batch-core</artifactId> <version>4.3.1</version> </dependency> ``` 2. 创建一个 Job ，在 Job 中定义 Step ，Step 中定义 ItemReader、ItemProcessor 和 ItemWriter。 ``` @Configuration @EnableBatchProcessing public class BatchConfig { @Autowired private JobBuilderFactory jobBuilderFactory; @Autowired private StepBuilderFactory stepBuilderFactory; @Bean public Job readBatFileJob() { return jobBuilderFactory.get("readBatFileJob") .incrementer(new RunIdIncrementer()) .start(readBatFileStep()) .build(); } @Bean public Step readBatFileStep() { return stepBuilderFactory.get("readBatFileStep") .<String, String>chunk(10) .reader(batFileReader()) .writer(consoleItemWriter()) .build(); } @Bean public FlatFileItemReader<String> batFileReader() { FlatFileItemReader<String> reader = new FlatFileItemReader<>(); reader.setResource(new FileSystemResource("path/to/bat/file")); reader.setLineMapper(new PassThroughLineMapper()); return reader; } @Bean public ItemWriter<String> consoleItemWriter() { return items -> { for (String item : items) { System.out.println(item); } }; } } ``` 3. 在 Main 方法中运行 Job。 ``` public class Main { public static void main(String[] args) { SpringApplication.run(BatchConfig.class, args); } } ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值