手写中间件之——并行框架(2 任务编排顺序如何选型和实现)

本文介绍了如何手写一个并行框架,重点在于任务的顺序编排。通过全串行、全并行、先串后并、先并后串四种基本场景,详细阐述了任务依赖和执行策略。对于复杂场景,这些基本模式可以进行组合。文中提到利用CompleteableFuture的allOf方法处理先串后并的情况,以及在先并后串场景中如何处理不同依赖条件。
摘要由CSDN通过智能技术生成

这一篇我们就要开始手写这个并行框架了。

做任何一个项目,都要做的事情都是先定大框架,后拆解任务。

那么这个并发框架,要完成上一篇讲的那些所有任务,该如何定大框架呢,如何选型呢?

如果大家仔细看了上一篇文章,可以看到该框架的难点和重点,主要有两点,分别是任务的顺序编排任务结果的回调。

如何做任务顺序编排

依次来看一下各个基本场景

1 全串行

这种是最简单的,依次串行即可。

假如有3个任务,譬如每个任务由一个worker来完成,共计3个worker,这3个worker有明显的先后顺序。要描述这种依赖关系和前后顺序,我们对任务的包装类应该至少有两个属性,nextWrappers和dependWrappers。分别代表我这个任务的后面的任务和依赖的任务。

以B为例,nextWrapper就是C,dependWrapper就是A。

2 全并行

这种也很简单,也比较常见。全并行的实现方式很多,譬如可以将所有的worker放到list里,写个for循环依次start;也可以全部提交到线程池里;也可以用CompleteableFuture.supply()去接收多个worker任务。

3 先串后并

这种稍微有点难度,首先它们的数据结构是这样的,A的nextWrappers是B和C,B、C的dependWrappers都是A。

执行A不必多说,就直接在主线程里执行它,或者新开线程执行它都可以,主要是A执行完毕后,当发现自己的nextWrappers有多个时,该怎么办。

还好,CompleteableFuture提供了allOf这个方法,它可以让你传入多个future,并且能够等待这多个future都完成时再统一返回。见下图代码。

4 先并后串

这种就有难度了,分几种情况,1-BC都完成才能执行A,2-BC任意一个完成都可以执行A,3-明确指定B完成、或者C完成才能执行A,也就是当有多个dependWrapper时,可以指定必须哪些个dependWrapper执行完,才能执行自己。

这该怎么实现呢,首先BC肯定是在两个线程上。A将来是要运行在B的线程或者C的线程的,视具体规则而定。

第一种情况,BC都完成才能执行A,这个比较简单,因为B的nextWrapper是A,C的nextWrapper也是A,B或者C执行完后就会去调用A。那么在A这里就可以做判断了,判断自己的dependWrappers的状态,遍历一遍,如果所有的dependWrappers的状态都是已完成,那么自然是所有的依赖都完成了,就可以执行自己了。 如果有任何一个的状态没完成,那就说明依赖项还未完全解除,就什么也不干,等待下一次被调用,再次判断即可。

第二种情况,BC任意一个完成就能执行A,这种假如B先完成,那么B执行完就会走nextWrapper,那就是A。如果此时C也完事了,也会进入A,那么A就要做判断了,如果状态已经不是初始化时的状态,说明已经被执行了,就什么也不干,就是C完毕后调用自己时,自己什么也不干。

第三种情况,我们就需要在dependWrapper里加个属性了,代表是不是必须执行完毕。当执行到A时,A就要去遍历所有的dependWrappers,看看那些必须要完毕的wrapper的状况,是不是都全部已经执行完毕了。倘若还有至少1个强依赖项没执行完,那么自己什么也不干,直接return即可。

基本上完成上面这几种情况就可以了,其他的复杂场景,都是由这4种组合起来的。

 

 

 

 

 

 

ansystool手写中间件并行框架是一种用于优化计算过程中并行执行的工具。它基于并行计算的理论和技术,结合了分布式计算、并发编程和并行算法等多种技术手段,旨在提高计算性能和效率。 这个并行框架可以将计算任务划分成多个子任务,然后并行地执行这些子任务,从而加快整个计算过程的速度。它可以根据计算需求的特点和硬件环境的情况,选择合适的并行策略和算法,使得计算任务能够得到有效地分解和并行化。 ansystool手写中间件并行框架还提供了丰富的并行编程接口和工具,使得开发人员可以方便地利用并行计算资源,编写高效的并行代码。它支持任务调度、数据传输、同步和通信等关键操作,以及任务分配、负载均衡和故障处理等关键功能,保证了整个并行计算过程的正确性和稳定性。 此外,ansystool手写中间件并行框架还具有良好的可扩展性和灵活性,可以根据计算任务的规模和要求,进行弹性的资源分配和管理。它可以利用现有的计算资源,也可以扩展到多个计算节点或集群,在大规模并行计算场景下,仍然能够保持高效的计算性能和吞吐量。 总之,ansystool手写中间件并行框架是一种强大的工具,可以帮助开发人员利用并行计算的优势,提高计算性能和效率。它在分布式计算、并发编程和并行算法等领域都具有广泛的应用前景。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天涯泪小武

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值