Java+面板颜色分块,java – spring批量远程分块和远程分区之间的区别

本文详细解释了Spring Batch中远程分块和远程分区的区别。远程分区涉及主/从步骤配置,允许并行处理数据分区,而远程分块则是主站负责数据读取和写入,从站仅处理中间数据。远程分块更依赖于网络I/O,可能更适合网络带宽充足的情况。了解这两种策略的优缺点对于优化Spring Batch作业的性能至关重要。
摘要由CSDN通过智能技术生成

spring批量远程分块和远程分区有什么区别?

我无法理解Spring批处理中远程分块和远程分区之间的区别.有人可以解释一下吗?

解决方法:

远程分区

分区是主/从步骤配置,允许并行处理数据分区.通过一些元数据描述每个分区.例如,如果您正在处理数据库表,则分区1可能为0-100,分区2为101-200等.对于Spring Batch,主步骤使用Partitioner生成包含每个分区的元数据的ExecutionContexts.这些ExecutionContexts被分配到从属步骤以供PartitionHandler处理(对于远程分区,通常使用MessageChannelPartitionHandler).从设备执行其步骤并返回由主设备进行聚合的结果状态.

有关远程分区的注意事项:

>输入和输出是从站的本地输出.例如,如果输入是文件,则从属设备需要访问该文件.

> Slaves需要访问JobRepository. Slaves是完全定义的Spring Batch步骤,因此需要JobRepository访问.

远程分块

远程分块类似于远程分区,因为它是主/从配置.但是,通过远程分块,数据由主设备读取并通过线路发送到从设备进行处理.处理完成后,ItemProcessor的结果将返回给master进行写入.

关于远程分块的注意事项:

>所有I / O都由主站完成.

>从站仅处理处理,因此不需要JobRepository访问.

>远程分块比远程分区更加I / O密集,因为实际数据是通过线路发送的,而不是描述它的元数据.

我做了一个关于扩展Spring Batch的演讲,并做了一个你可以在这里观看的远程分区演示:http://www.youtube.com/watch?v=CYTj5YT7CZU

标签:java,spring,spring-batch

来源: https://codeday.me/bug/20190923/1813425.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值