大量数据也不在话下，Spring Batch并行处理四种模式初探

最新推荐文章于 2024-08-20 18:38:50 发布

南瓜慢说

最新推荐文章于 2024-08-20 18:38:50 发布

阅读量1.1k

点赞数 1

本文链接：https://blog.csdn.net/dengnanhua/article/details/108570714

版权

本文介绍了Spring Batch的四种并行处理模式：多线程Step、并行Steps、远程分块和远程分区。多线程Step利用线程池实现多线程处理；并行Steps允许不同Step并行执行；远程分块将任务拆分，主程序与处理进程间通过中间件通信；远程分区则是多进程读、处理和写，适用于处理IO瓶颈的场景。

摘要由CSDN通过智能技术生成

1 前言

欢迎访问南瓜慢说 www.pkslow.com获取更多精彩文章！

Spring相关文章：Springboot-Cloud

前面写了一篇文章《通过例子讲解Spring Batch入门，优秀的批处理框架》讲解Spring Batch入门，但要发挥它的作用，并行处理不能不了解。

2 四种模式

大多数情况下，单线程、单进程的Spring Batch已经能满足你的需求。在我们走向更复杂的特性之前，先看看简单的能不能用，Keep it Simple and Stupid。

不过，当你确定要使用并行处理时，Spring Batch也提供了多种选择。整体上分为两大类：

（1）单进程、多线程
（2）多进程

细分如下：

（1）多线程的Step（单进程）
（2）并行的Steps（单进程）
（3）远程分块（多进程）
（4）远程分区（多进程）

光从名字看，很难理解它们之间的差别，我们来一一介绍吧。

2.1 多线程的Step

通过提供一个TaskExecutor来执行，而TaskExecutor是可以自定义的，我们可以提供一个基于线程池的TaskExecutor，则可以实现多线程处理。

@Bean
public TaskExecutor taskExecutor(){
   
  return new SimpleAsyncTaskExecutor("spring_batch");
}

@Bean
public Step sampleStep(TaskExecutor taskExecutor) {
   
  return this.stepBuilderFactory.get

最低0.47元/天解锁文章