上报高并发处理原理与流程

yueerba126

已于 2023-11-29 17:42:30 修改

阅读量229

点赞数

分类专栏： Java-多线程并发文章标签：分布式

于 2023-11-29 17:41:10 首次发布

本文链接：https://blog.csdn.net/yueerba126/article/details/134695292

版权

10 篇文章 0 订阅

订阅专栏

🌌 高并发处理原理与流程

XxlJob是一个分布式任务调度平台，它支持分片执行，可以将一个大任务分布在多个执行器或节点上运行，以提高处理效率和缩短任务完成时间。以下是关于XxlJob分片原理和逻辑的详细解析：

在ReportJob类中，XxlJob的分片逻辑如下：

获取分片信息：
- shardTotal：获取总的分片数量。
- shardIndex：获取当前执行器实例的分片索引。
分片数据处理：
- 根据shardIndex和shardTotal，每个执行器实例处理一部分数据。例如，如果有10个分片，则每个分片处理整体任务的1/10。
并发控制：
- 使用Redisson的RLock和RCountDownLatch进行并发控制。
- RLock确保设置拉取数据截止时间的操作是原子性的。
- RCountDownLatch用于等待所有分片的任务完成。
任务执行：
- 每个分片执行器独立执行其分配的任务。
- 任务可能包括数据拉取、处理和上报等。
任务同步：
- 所有分片完成后，再执行后续操作。这通过RCountDownLatch实现，确保所有分片都完成了自己的部分任务。

XxlJob的分片特性适用于需要大规模并行处理的任务，特别是当单个任务的执行时间较长或处理数据量很大时。通过分片，任务可以在多个节点上并发执行，有效提高了任务的处理速度和系统的吞吐量。

XxlJob的分片功能为分布式任务处理提供了高效的方法，通过将大任务分散到多个节点上，它可以显著提高处理效率。同时，结合Redisson的并发控制工具，它能够保证任务的同步和一致性。

原理分片是将一个大任务拆分成多个小任务，这些小任务可以在不同的节点或线程上并行执行。它通常基于数据的分布或任务的数量来实现。
实现在代码中，分片通过 FrameworkJobHelper.shardList(ids) 实现。这个方法可能基于数据的ID或其他属性将总任务分成若干个子任务，每个子任务处理一部分数据。
使用每个分片独立处理数据的一个子集，这有助于分散和平衡负载，提高整体处理速度。

分批处理将大量数据切分成更小的数据块，每个块作为一个单独的处理单元。
事务产生每个数据批次的处理被包装在一个新的事务中。这是通过 @Transactional(rollbackFor = Exception.class, propagation = Propagation.REQUIRES_NEW) 实现的。
事务作用确保每批数据的处理具有原子性和一致性。如果处理过程中出现异常，只会影响当前批次的事务，不会影响到其他事务。

CountDownLatch
- 职责同步多个执行流程，确保它们在特定点齐头并进。
- 原理等待直到计数器归零，然后所有等待的线程或流程才能继续执行。
- 用途在上报任务中用于确保所有分片的数据处理完成后，才进行下一步操作。
Semaphore
- 职责限制同时访问共享资源的线程数量。
- 原理基于信号量的值允许或限制访问。当信号量为0时，阻止更多线程的访问。
- 用途在API调用中限制同时进行的调用数量，防止资源过载。
相互配合CountDownLatch 用于同步任务的整体完成，而 Semaphore 用于控制并发级别。它们共同确保了任务既能高效执行又不会超出资源限制。

原理责任链模式允许多个对象处理一个请求，形成一条链。请求在链上依次传递，直到被处理。
实现在 ReportProcessContext 中，多个处理步骤（IReportProcess 实例）组成了一条处理链。每个处理步骤接收上下文对象，执行特定操作，并可能修改上下文状态。
流程在 ReportProcessReceive 中，上报处理任务被传递给责任链的每个节点。每个节点（处理步骤）依次对数据进行处理，可能包括数据转换、验证、发送等。
用途责任链模式在此处用于解耦各个处理步骤，使得每个步骤专注于单一职责，提高了代码的可维护性和可扩展性。