java分布式批处理_基于分布式架构的跑批处理装置及方法与流程

本发明涉及数据处理技术领域，特别涉及一种基于分布式架构的跑批处理装置及方法。

背景技术：

跑批为银行一种重要业务，最主要业务是产生总账，进行总分核对；再次就是进行大批量交易，如结息、计提代收付、报表生成，流水数据导出等。银行体系涉及庞大复杂的跑批业务操作，目前，批处理主要采用单机部署处理的方式。随着业务的发展，数据规模的增大，单机部署的跑批方案存在诸多方面的问题：

1.性能问题：大量高并发，导致计算机性能消耗过大，影响任务执行效率。

2.健壮性问题，即可靠性问题：单机系统下，因每个任务固定且仅部署在一个任务节点下，导致任务与节点存在耦合性，若节点发生故障，会影响该节点下所有任务的执行，其上部署的所有跑批任务将全部失败。

3.维护性差：系统扩容时，需要对所有的任务拆分后重新部署，以保证各任务节点的性能损耗均衡；且在后期运维中，还需根据节点性能损耗情况，对其上的任务部署数量进行调整。以上两方面，导致维护工作量较大。

以上问题，对跑批的正确性和可靠性带来较大冲击，进而对银行日常业务造成影响，甚至引发客户投诉。单机部署结构如图1所示。

针对上述问题，目前尚未提出有效的解决方案。

技术实现要素：

本发明实施例提供了一种基于分布式架构的跑批处理装置，用以提高了跑批处理的可靠性及银行系统性能和易维护性，该装置包括：任务触发模块、调度模块、包括多个任务执行节点的任务集群；其中：

任务触发模块，用于根据预先配置的跑批任务执行策略，发起跑批任务执行请求至所述调度模块；

调度模块，用于根据所述跑批任务执行请求，从多个任务执行节点中确定出执行所述跑批任务执行请求的任务执行节点，将所述跑批任务执行指令发送至确定出的任务执行节点；

多个任务执行节点，用于根据调度模块发来的跑批任务执行指令，执行跑批任务。

本发明实施例还提供了一种基于分布式架构的跑批处理方法，用以提高了跑批处理的可靠性及银行系统性能和易维护性，该方法包括：

任务触发模块根据预先配置的跑批任务执行策略，发起跑批任务执行请求至调度模块；

调度模块根据所述跑批任务执行请求，从多个任务执行节点中确定出执行所述跑批任务执行请求的任务执行节点，将所述跑批任务执行指令发送至确定出的任务执行节点；

多个任务执行节点根据调度模块发来的跑批任务执行指令，执行跑批任务。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于分布式架构的跑批处理方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述基于分布式架构的跑批处理方法的计算机程序。

本发明实施例提供的技术方案通过：任务触发模块根据预先配置的跑批任务执行策略，发起跑批任务执行请求至调度模块；调度模块根据所述跑批任务执行请求࿰