Spring Batch_异步并发的processor && writer

最新推荐文章于 2023-09-18 19:30:00 发布

weixin_34268610

最新推荐文章于 2023-09-18 19:30:00 发布

阅读量2k

点赞数

文章标签： java 数据库 python

原文链接：https://my.oschina.net/xinxingegeya/blog/344078

版权

2019独角兽企业重金招聘Python工程师标准>>>

Spring Batch_异步并发的processor && writer

普通的配置一个job，在这个demo中：http://my.oschina.net/xinxingegeya/blog/343190

job的reader是通过游标读取，commit-interval="2"表示每读取两条数据，就要进行process，process完成之后就要进行write，process和write是同步进行的，也就是说

必须process两条之后才能进行write，这两者不能异步进行。无疑，当process过程处理时间过长时，会拖慢整个过程的效率。还有process过程是single thread进行处理的，一个线程中处理两条数据

比用两个线程处理两条数据效率要慢的多（当处理一条数据花费的时间比较多时），这样会拖慢process过程的效率。

那么如何提高整个批处理过程的效率？

对于proceess和write过程异步化

在process过程使用多线程处理数据

主要的代码和配置：

spring-batch-async.xml

<beans xmlns="http://www.springframework.org/schema/beans"
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:batch="http://www.springframework.org/schema/batch"
	xmlns:context="http://www.springframework.org/schema/context"
	xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.0.xsd
		http://www.springframework.org/schema/batch http://www.springframework.org/schema/batch/spring-batch.xsd
		http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd">

	<!-- 包的扫描 -->
	<context:component-scan base-package="com.lyx.batch" />

	<bean id="exceptionHandler" class="com.lyx.batch.ExceptionListener" />

	<batch:step id="abstractStep" abstract="true">
		<batch:listeners>
			<batch:listener ref="exceptionHandler" />
		</batch:listeners>
	</batch:step>
	<bean id="abstractCursorReader" abstract="true"
		class="org.springframework.batch.item.database.JdbcCursorItemReader">
		<property name="dataSource" ref="dataSource" />
	</bean>

	<batch:job id="addPeopleDescJob">
		<batch:step id=