Spring Batch示例– XML文件到CSV文件

最新推荐文章于 2022-08-31 00:23:53 发布
最新推荐文章于 2022-08-31 00:23:53 发布
阅读量343 收藏
点赞数
文章标签： java 开发工具
本教程演示了如何使用Spring Batch配置作业，从XML文件读取数据，通过过滤和处理，然后将数据写入CSV文件。内容包括项目设置、依赖、XML读取、Spring Batch核心组件、自定义适配器以及作业执行。
摘要由CSDN通过智能技术生成

在本教程中，我们将向您展示如何配置Spring Batch作业以将XML文件（ JAXB2库）读取到csv文件中，并在使用ItemProcessor进行写入之前过滤掉记录。

使用的工具和库

  1. Maven 3
  2. Eclipse 4.2
  3. JDK 1.6
  4. Spring Core 3.2.2。发布
  5. Spring Batch 2.2.0。发布
  6. Spring OXM 3.2.2。发布

PS此示例– XML文件（读取器）–过滤（itemProcessor）– CSV（写入器）。

1.简单的Java项目

1.使用Maven创建一个快速入门Java Project，将其转换并导入Eclipse IDE。 

$ mvn archetype:generate -DgroupId=com.mkyong -DartifactId=SpringBatchExample3 
  -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false
$ cd SpringBatchExample3/
$ mvn eclipse:eclipse

2.项目依赖

在pom.xml声明所有项目依赖项

pom.xml 
<project xmlns="http://maven.apache.org/POM/4.0.0" 
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 
	http://maven.apache.org/maven-v4_0_0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<groupId>com.mkyong</groupId>
	<artifactId>SpringBatchExample</artifactId>
	<packaging>jar</packaging>
	<version>1.0-SNAPSHOT</version>
	<name>SpringBatchExample</name>
	<url>http://maven.apache.org</url>

	<properties>
		<jdk.version>1.6</jdk.version>
		<spring.version>3.2.2.RELEASE</spring.version>
		<spring.batch.version>2.2.0.RELEASE</spring.batch.version>
	</properties>

	<dependencies>

		<!-- Spring Core -->
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-core</artifactId>
			<version>${spring.version}</version>
		</dependency>

		<!-- Spring XML to/back object -->
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-oxm</artifactId>
			<version>${spring.version}</version>
		</dependency>

		<!-- Spring Batch dependencies -->
		<dependency>
			<groupId>org.springframework.batch</groupId>
			<artifactId>spring-batch-core</artifactId>
			<version>${spring.batch.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework.batch</groupId>
			<artifactId>spring-batch-infrastructure</artifactId>
			<version>${spring.batch.version}</version>
		</dependency>

	</dependencies>
	<build>
	    <finalName>spring-batch</finalName>
	    <plugins>
		<plugin>
			<groupId>org.apache.maven.plugins</groupId>
			<artifactId>maven-eclipse-plugin</artifactId>
			<version>2.9</version>
			<configuration>
				<downloadSources>true</downloadSources>
				<downloadJavadocs>false</downloadJavadocs>
			</configuration>
		</plugin>
		<plugin>
			<groupId>org.apache.maven.plugins</groupId>
			<artifactId>maven-compiler-plugin</artifactId>
			<version>2.3.2</version>
			<configuration>
				<source>${jdk.version}</source>
				<target>${jdk.version}</target>
			</configuration>
		</plugin>
	    </plugins>
	</build>

</project>

3.项目目录结构

查看最终的项目结构，获得下一步的概览。

Spring批处理XML到CSV

4. XML文件

resources/xml/report.xml 
<?xml version="1.0" encoding="UTF-8" ?>
<company>
    <record refId="1001">
        <name>mkyong</name>
        <age>31</age>
        <dob>31/8/1982</dob>
        <income>200,000</income>
    </record>
    <record refId="1002">
        <name>kkwong</name>
        <age>30</age>
        <dob>26/7/1983</dob>
        <income>100,999</income>
    </record>
    <record refId="1003">
        <name>joel</name>
        <age>29</age>
        <dob>21/8/1984</dob>
        <income>1,000,000</income>
    </record>
    <record refId="1004">
        <name>leeyy</name>
        <age>29</age>
        <dob>21/3/1984</dob>
        <income>80,000.89</income>
    </record>
</company>

5.读取XML文件

在此示例中，我们使用Jaxb2Marshaller将XML值和属性映射到对象。

resources/spring/batch/jobs/job-report.xml 
<!-- ...... -->
    <bean id="xmlItemReader" 
        class="org.springframework.batch.item.xml.StaxEventItemReader">
	<property name="fragmentRootElementName" value="record" />
	<property name="resource" value="classpath:xml/report.xml" />
	<property name="unmarshaller" ref="reportUnmarshaller" />
    </bean>

    <!-- Read and map values to object, via jaxb2 -->
    <bean id="reportUnmarshaller" 
        class="org.springframework.oxm.jaxb.Jaxb2Marshaller">
	<property name="classesToBeBound">
	  <list>
		<value>com.mkyong.model.Report</value>
	  </list>
	</property>
    </bean>

注释Report以告知哪个XML值映射到哪个字段。

Report.java 
package com.mkyong.model;

import java.math.BigDecimal;
import java.text.SimpleDateFormat;
import java.util.Date;
import javax.xml.bind.annotation.XmlAttribute;
import javax.xml.bind.annotation.XmlElement;
import javax.xml.bind.annotation.XmlRootElement;
import javax.xml.bind.annotation.adapters.XmlJavaTypeAdapter;
import com.mkyong.adapter.JaxbBigDecimalAdapter;
import com.mkyong.adapter.JaxbDateAdapter;

@XmlRootElement(name = "record")
public class Report {

	private int refId;
	private String name;
	private int age;
	private Date dob;
	private BigDecimal income;

	@XmlAttribute(name = "refId")
	public int getRefId() {
		return refId;
	}

	public void setRefId(int refId) {
		this.refId = refId;
	}

	@XmlElement(name = "age")
	public int getAge() {
		return age;
	}

	public void setAge(int age) {
		this.age = age;
	}

	@XmlElement
	public String getName() {
		return name;
	}

	public void setName(String name) {
		this.name = name;
	}

	@XmlJavaTypeAdapter(JaxbDateAdapter.class)
	@XmlElement
	public Date getDob() {
		return dob;
	}

	public void setDob(Date dob) {
		this.dob = dob;
	}

	@XmlJavaTypeAdapter(JaxbBigDecimalAdapter.class)
	@XmlElement
	public BigDecimal getIncome() {
		return income;
	}

	public void setIncome(BigDecimal income) {
		this.income = income;
	}

	// for csv file only
	public String getCsvDob() {

		SimpleDateFormat dateFormat = new SimpleDateFormat("dd/MM/yyyy");
		return dateFormat.format(getDob());

	}

}

在JAXB2中，那些“复杂”的数据类型（如Date和BigDecimal即使被注释，也不会自动映射到该字段。

为了使JAXB2支持Date转换，您需要创建一个自定义的Adapter来手动处理Date format ，然后通过@XmlJavaTypeAdapter附加该适配器。

JaxbDateAdapter.java 
package com.mkyong.adapter;

import java.text.SimpleDateFormat;
import java.util.Date;
import javax.xml.bind.annotation.adapters.XmlAdapter;


public class JaxbDateAdapter extends XmlAdapter<String, Date> {

	private SimpleDateFormat dateFormat = new SimpleDateFormat("dd/MM/yyyy");

	@Override
	public String marshal(Date date) throws Exception {
		return dateFormat.format(date);
	}

	@Override
	public Date unmarshal(String date) throws Exception {
		return dateFormat.parse(date);
	}

}

与BigDecimal相同，XML的income元素中的逗号“，”会引起转换问题，您还需要一个自定义适配器来处理它。

JaxbBigDecimalAdapter.java 
package com.mkyong.adapter;

import java.math.BigDecimal;
import javax.xml.bind.annotation.adapters.XmlAdapter;

public class JaxbBigDecimalAdapter extends XmlAdapter<String, BigDecimal> {

	@Override
	public String marshal(BigDecimal obj) throws Exception {
		return obj.toString();
	}

	@Override
	public BigDecimal unmarshal(String obj) throws Exception {
		return new BigDecimal(obj.replaceAll(",", ""));
	}

}

6. Spring批处理核心设置

定义jobRepository和jobLauncher 。

resources/spring/batch/config/context.xml 
<beans xmlns="http://www.springframework.org/schema/beans"
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="
	http://www.springframework.org/schema/beans 
	http://www.springframework.org/schema/beans/spring-beans-3.2.xsd">

    <!-- stored job-meta in memory --> 
    <bean id="jobRepository"
	class="org.springframework.batch.core.repository.support.MapJobRepositoryFactoryBean">
	<property name="transactionManager" ref="transactionManager" />
    </bean>
 	
    <bean id="transactionManager"
	class="org.springframework.batch.support.transaction.ResourcelessTransactionManager" />
	
 
    <bean id="jobLauncher"
	class="org.springframework.batch.core.launch.support.SimpleJobLauncher">
	<property name="jobRepository" ref="jobRepository" />
    </bean>

</beans>

7.Spring批作业

Spring批处理作业，读取report.xml文件，将其映射到Report对象，并将其写入csv文件。 阅读评论，应该不言自明。

resources/spring/batch/jobs/job-report.xml 
<beans xmlns="http://www.springframework.org/schema/beans"
	xmlns:batch="http://www.springframework.org/schema/batch" 
	xmlns:task="http://www.springframework.org/schema/task"
	xmlns:util="http://www.springframework.org/schema/util" 
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://www.springframework.org/schema/batch
	http://www.springframework.org/schema/batch/spring-batch-2.2.xsd
	http://www.springframework.org/schema/beans 
	http://www.springframework.org/schema/beans/spring-beans-3.2.xsd
	http://www.springframework.org/schema/util 
	http://www.springframework.org/schema/util/spring-util-3.2.xsd">

  <batch:job id="reportJob">
	<batch:step id="step1">
	<batch:tasklet>
		<batch:chunk reader="xmlItemReader" 
			writer="cvsFileItemWriter" processor="filterReportProcessor"
			commit-interval="1">
		</batch:chunk>
	</batch:tasklet>
	</batch:step>
  </batch:job>

  <!-- Filtering process -->
  <bean id="filterReportProcessor" class="com.mkyong.processor.FilterReportProcessor" />

  <bean id="xmlItemReader" 
        class="org.springframework.batch.item.xml.StaxEventItemReader">
	<property name="fragmentRootElementName" value="record" />
	<property name="resource" value="classpath:xml/report.xml" />
	<property name="unmarshaller" ref="reportUnmarshaller" />
  </bean>

  <!-- Read and map values to object, via jaxb2 -->
  <bean id="reportUnmarshaller" class="org.springframework.oxm.jaxb.Jaxb2Marshaller">
    <property name="classesToBeBound">
	<list>
		<value>com.mkyong.model.Report</value>
	</list>
    </property>
  </bean>

  <bean id="cvsFileItemWriter" class="org.springframework.batch.item.file.FlatFileItemWriter">
	<!-- write to this csv file -->
	<property name="resource" value="file:cvs/report.csv" />
	<property name="shouldDeleteIfExists" value="true" />

	<property name="lineAggregator">
	  <bean
		class="org.springframework.batch.item.file.transform.DelimitedLineAggregator">
		<property name="delimiter" value="," />
		<property name="fieldExtractor">
		  <bean
			class="org.springframework.batch.item.file.transform.BeanWrapperFieldExtractor">
			<property name="names" value="refId, name, age, csvDob, income" />
		   </bean>
		</property>
	   </bean>
	</property>
  </bean>

</beans>

8. Spring Batch – ItemProcessor

在Spring批处理中，将在写入任何资源之前触发有线Processor ，因此，这是处理任何转换，过滤和业务逻辑的最佳位置。 在此示例中，如果Report对象的age等于30，则它将被忽略（不写入CSV文件）。

FilterReportProcessor.java 
package com.mkyong.processor;

import org.springframework.batch.item.ItemProcessor;
import com.mkyong.model.Report;

//run before writing
public class FilterReportProcessor implements ItemProcessor<Report, Report> {

	@Override
	public Report process(Report item) throws Exception {

		//filter object which age = 30
		if(item.getAge()==30){
			return null; // null = ignore this object
		}
		return item;
	}

}

9.运行

运行批处理作业的最简单方法。

App.java 
package com.mkyong;

import org.springframework.batch.core.Job;
import org.springframework.batch.core.JobExecution;
import org.springframework.batch.core.JobParameters;
import org.springframework.batch.core.launch.JobLauncher;
import org.springframework.context.ApplicationContext;
import org.springframework.context.support.ClassPathXmlApplicationContext;

public class App {
  public static void main(String[] args) {

	String[] springConfig  = 
	{	
		"spring/batch/config/context.xml",
		"spring/batch/jobs/job-report.xml" 
	};
		
	ApplicationContext context = 
		new ClassPathXmlApplicationContext(springConfig);
		
	JobLauncher jobLauncher = (JobLauncher) context.getBean("jobLauncher");
	Job job = (Job) context.getBean("reportJob");

	try {

		JobExecution execution = jobLauncher.run(job, new JobParameters());
		System.out.println("Exit Status : " + execution.getStatus());

	} catch (Exception e) {
		e.printStackTrace();
	}

	System.out.println("Done");

  }
}

输出。 XML值将插入到csv文件中。

csv/report.csv 
1001,mkyong,31,31/08/1982,200000
1003,joel,29,21/08/1984,1000000
1004,leeyy,29,21/03/1984,80000.89
输出

下载源代码

下载它– SpringBatch-XML-CSV-Example.zip （81 kb）

参考文献

  1. Spring Batch ItemReaders和ItemWriters
  2. JAXB自定义绑定– Java.util.Date
  3. 如何使用FlatFileItemWriter？
  4. FlatFileItemWriter JavaDoc
标签：

翻译自: https://mkyong.com/spring-batch/spring-batch-example-xml-file-to-csv-file/

cyan20115
关注
springbatch操作CSV文件
技术人生
08-10 3429
一、需求分析 使用Spring Batch对CSV文件进行读写操作: 读取一个含有四个字段的CSV文件(id, name, age, score),  对文件做简单的处理, 然后输出到另一个csv文件中. 二、代码实现 1. 代码结构图: JobLaunch: 启动Job CsvItemProcessor: 对Reader数据进行
Spring批处理CSV处理
最佳 Java 编程
06-06 665
总览 我们将讨论的主题包括使用Spring Batch进行批处理的基本概念，以及如何将数据从CSV导入数据库。 0 – Spring Batch CSV处理示例应用程序 我们正在构建一个应用程序，该应用程序演示Spring Batch处理CSV文件的基础。 我们的演示应用程序将允许我们处理CSV文件，其中包含数百条日本动漫标题的记录。 0.1 – CSV 我已经从这个Github存储...
SpringBatch成功案例(CSV、XML、自定义长度等方式)
07-20
常见的几种SpringBatch运行的成功案例，本人亲测，绝对可靠！你值得拥有
Spring-Batch处理MySQL数据后存到CSV文件
weixin_34107955的博客
05-26 451
为什么80%的码农都做不了架构师？>>> ...
spring batch 读取多个文件数据导入数据库示例
08-31
文件的读取可能涉及到 CSV 文件或其他类型的文本文件，每个文件都需要适配相应的 ItemReader 来进行解析。 在 `applicationContext.xml` 配置文件中，可以看到关键的 Spring Batch 组件定义。`...
spring批量写入mysql数据库_快速使用组件-spring batch(3)读文件数据到数据库
weixin_35728089的博客
02-04 1228
tags： springbatch1.引言上一篇文章《快速了解组件-spring batch(2)之helloworld》对Spring Batch进行了入门级的开发，也对基本的组件有了一定的了解。但实际开发过程中，更多的是涉及文件及数据库的操作，以定时后台运行的方式，实现批处理操作。典型操作是从文本数据(csv/txt等文件)中读取数据，然后写入到数据库存储。如下图所示：读文件流程若需要开发此过...
Spring Batch示例: 读取CSV文件并写入MySQL数据库
weixin_33726318的博客
05-21 1109
Spring Batch示例: 读取CSV文件并写入MySQL数据库 GitHub版本: https://github.com/kimmking/SpringBatchReferenceCN/blob/master/01_introduction/Spring_Batch_MySQL.md 原文链接: Reading and wri...
springBoot+springBatch批量处理数据demo
02-29
在`pom.xml`或`build.gradle`文件中添加依赖后，SpringBoot会自动加载SpringBatch的配置。 接着，SpringBatch的主要组件包括Job、Step、Tasklet、ItemReader、ItemWriter和ItemProcessor。Job是批处理任务的高层次...
Spring Batch从csv文件读取再生成csv文件
08-14 3085
Spring Batch从csv文件读取再生成csv文件
springboot-batch-dbtocsv-demo:这个项目解释了如何通过springboot使用springbatch将数据从数据库插入到csv文件中
05-18
springboot-batch-dbtocsv-demo 这个项目解释了如何通过springboot使用springbatch将数据从数据库插入到csv文件中 什么是Springbatch？ Spring Batch是Spring Framework的一部分。 它是用于批处理的基于Java的框架。 一个轻量级的，全面的批处理框架。 基于POJO的开发方法，从Spring框架中得知。 基于Spring框架的原理和优势。 •它支持：–并行批处理。 –大规模并行批处理。 –故障后手动或计划重启。 –定期提交批处理。 - 其他特性。 什么是批处理？ •批处理用于批处理应用程序以处理大量数据。 •通常是批处理应用程序：–从多个来源（DB，CSV / XML文件，队列，Web服务等）读取大量数据。 –按照某些业务规则处理或转换读取的数据。 –将转换后的数据写入一个或多个目标。 •通常，
将xml文件转换成csv格式
12-14
将xml文件转换成csv格式，好资源，好分享
SpringBatch:示例 Spring Batch 应用程序将从 CSV 读取数据并将其存储在数据库中
06-04
春批 示例 Spring Batch 应用程序将从 CSV 读取数据并将其存储在数据库中 使用您的数据库特定详细信息运行应用程序 Chnage 批处理属性文件
spring 导出csv文件_Spring Batch从csv文件读取再生成csv文件
weixin_36119965的博客
02-04 539
Spring Batch从csv文件读取再生成csv文件目录结构为src/main/java/com/ermdashboard.SpringBatchCSVpackage com.ermdashboard.SpringBatchCSV;importorg.springframework.batch.item.ItemProcessor;importorg.springframework.stere...
使用SpringBatch读取csv文件
huan的学习记录
08-31 550
SpringBatch读取CSV文件的简单入门案例
Spring Batch 操作 CSV file
bf90599188的专栏
11-22 608
父类:FlatFileItemWriter   详细步骤以及demo可以打开下面的网址，或者百度 http://www.cnblogs.com/gulvzhe/archive/2011/10/31/2230655.html
springbatch读取文件_Spring Batch 之 Sample（CSV文件操作）(四)
weixin_39647773的博客
12-22 446
本文将通过一个完整的实例，与大家一起讨论运用Spring Batch对CSV文件的读写操作。此实例的流程是：读取一个含有四个字段的CSV文件(ID,Name,Age,Score),对读取的字段做简单的处理，然后输出到另外一个CSV文件中。工程结构如下图：JobLaunch类用来启动Job， CsvItemProcessor类用来对Reader取得的数据进行处理， Student类是一个POJO类，...
Spring-batch解析Csv文件
watson1360884839的博客
11-20 1775
背景： 最近用POI解析线上的excel文件，在5万条以上的时候性能很慢。甚至内存卡死现象。于是想到用spring-batch分批次读取。 但是spring-batch不支持直接读取excel文件。所以先将excel转为csv文件（测试转换效率：8万条 40s）。然后用spring-batch分批次读取，每次5000条。 然后5000条数据处理再用多线程（forkJoin）处理。      ...
spring batch 读mysql_Spring-Batch处理MySQL数据后存到CSV文件
weixin_42130786的博客
02-11 375
1 介绍用Spring Batch实现了个简单的需求，从MySQL中读取用户表数据，根据生日计算年龄，将结果输出到csv文件。1.1 准备表及数据user test;DROP TABLE IF EXISTS `test_user`;CREATE TABLE `test_user` (`id` int(11) NOT NULL auto_increment,`name` varchar(45) N...
springbatch获取多个文件的示例
最新发布
11-11
Spring Batch是一个用于大规模批量处理的开源框架，可以帮助我们简化和规范化批量作业的开发。在Spring Batch中获取多个文件的示例可以通过以下步骤来完成： 首先，我们需要配置Spring Batch的Job和Step。在Job配置中，我们可以定义多个Step，每个Step可以处理一个文件。在Step配置中，我们可以定义ItemReader、ItemProcessor和ItemWriter等组件，来完成文件读取、数据处理和结果写入等功能。 其次，我们需要编写ItemReader的实现类来读取文件。在多文件的情况下，我们可以通过Loop资源配置来遍历不同的文件。例如，可以使用MultiResourceItemReader来设置多个文件路径，并通过设置同一个Delegate对象来处理每个文件的读取。 然后，我们可以编写ItemProcessor的实现类来处理读取到的数据。在多文件的情况下，我们可以使用文件名称作为数据的一部分，以便在后续的处理中对数据进行分类或区分。 最后，我们可以编写ItemWriter的实现类来将处理后的结果写入到目标文件中。在多文件的情况下，我们可以使用不同的文件名称来区分不同的结果文件。 综上所述，通过以上配置和编码，我们可以实现Spring Batch获取多个文件的示例。通过配置Job和Step，使用MultiResourceItemReader处理多个文件的读取，使用ItemProcessor处理数据，最后使用ItemWriter将结果写入到相应的文件中。这样，我们就可以实现在Spring Batch中处理多个文件的任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值