![](https://img-blog.csdnimg.cn/20210908154131336.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
spring-batch
spring-batch实战内容分析。目前spring-batch资料较少,本专栏意在出一份相对有用且较全的资料。
这个码农不太萌
这个作者很懒,什么都没留下…
展开
-
多线程process和多线程writer
本次介绍AsyncItermProcessor和AsyncItemWriter在很多场景中,process要处理大量的计算对比工作,计算对比可能还涉及大量的数据库读写工作。要是能将process单独多线程处理,那将会将性能提升很大一截,甚至是指数级的提升。spring-batch提供了相应的处理方案。使用AsyncItermProcessor和AsyncItemWriter,一般需要组合使用,才能有效提升效率。process代码@StepScope @Bean("userProce原创 2021-09-23 14:10:25 · 371 阅读 · 0 评论 -
spring-batch多步骤并行处理
真实业务场景下,一个JOB可能同时处理多个任务。在步骤互不干涉的情况下,可以设置多步骤并行处理。提高运行效率。上代码package com.flight.neon.batch.demo.job;import com.flight.neon.batch.demo.job.entity.User;import com.flight.neon.batch.demo.job.listener.DemoJobListener;import com.flight.neon.batch.demo.job原创 2021-09-18 16:59:28 · 1345 阅读 · 0 评论 -
spring-batch多线程开启
通过之前的介绍,大姐对spring-batch有了一定的了解。但是当数据量达到十万级时,我们发现之前的JOB运行时间还是比较长的。spring-batch优化效率可以直接在step中打开spring的多线程,进行多线程运行。当打开多线程之后,十万级的数据运行可以在秒级运行完毕。打开多线程分两步,1.关闭读取中的状态记录2.开启spring的多线程 代码如下@Bean("userReader") public FlatFileItemReader<Us...原创 2021-09-10 16:35:56 · 1995 阅读 · 0 评论 -
spring-batch重试机制
spring-batch提供了批处理的异常重试机制,主要有两种。重试和跳过。1.重试(retry)在step中可以设置,本step运行的重试机制。主要包括:重试的异常,忽略的异常,重试的次数以及重试的监听 @StepScope @Bean public Step userStep() { return stepBuilderFactory.get("userStep") .<User,User>chunk(2原创 2021-09-10 16:26:41 · 1325 阅读 · 0 评论 -
spring-batch参数传递
1.JobParameters在调用JOB的时候设置JOB的全局参数,可在JOB执行过程的各个地方获取。如下代码所示,在调用JOB是设置JobParameterspackage com.flight.neon.batch.demo.test;import org.junit.Test;import org.junit.runner.RunWith;import org.springframework.batch.core.Job;import org.springframework.原创 2021-09-08 15:26:44 · 3742 阅读 · 2 评论 -
spring-batch组合写
真实业务场景下回出现,读取一条数据,写入多个目标的场景回顾一下之前单个写的DEMOpackage com.flight.neon.batch.demo.job.writer;import com.flight.neon.batch.demo.job.entity.User;import org.springframework.batch.item.database.BeanPropertyItemSqlParameterSourceProvider;import org.springfra原创 2021-09-07 10:14:26 · 244 阅读 · 0 评论 -
spring-batch改写平面文件读取器
在实际的业务场景中,数据文件并不一定是标准格式,可能是一些自定义格式的数据文件,这些文件的读取就需要改写读取器来实现。首先回顾下上期DEMO中的文件读取器package com.flight.neon.batch.demo.job.reder;import com.flight.neon.batch.demo.job.entity.User;import org.springframework.batch.item.file.FlatFileItemReader;import org.sp原创 2021-09-06 16:00:10 · 177 阅读 · 0 评论 -
spring-batch批处理框架介绍及demo
最近在项目中,有批处理的相关需求。最终选定技术框架为spring-batch批处理框架,在此专栏中为大家分享spring-batch的基础知识与项目遇到的一些实际问题的解决方案。原创 2021-09-03 17:07:49 · 2293 阅读 · 0 评论