Gobrs-Async 动态配置化任务编排框架
作者介绍
dromara 开源组织成员,
dromara/Gobrs-Async 作者
目前在某头部电商平台负责研发高并发电商平台核心架构。
带领团队攻克多个技术难题,落地高并发编排框架和各类缓存技术组件。
关于Gobrs--Async
Gobrs-Async 是一款功能强大、配置灵活、带有全链路异常回调、内存优化、异常状态管理于一身的高性能异步编排框架。为企业提供在复杂应用场景下动态任务编排的能力。针对于复杂场景下,异步线程复杂性、任务依赖性、异常状态难控制性; Gobrs-Async 为此而生。
项目背景
复杂的多线程调用
在开发复杂中台业务过程中,难免会遇到调用各种中台业务数据, 而且会出现复杂的中台数据依赖关系,在这种情况下。代码的复杂程度就会增加。 如下图所示:
多线程任务管理
传统的Future
、CompleteableFuture
一定程度上可以完成任务编排,并可以把结果传递到下一个任务。如CompletableFuture
有then方法,但是却无法做到对每一个执行单元的回调。譬如A执行完毕成功了,后面是B,我希望A在执行完后就有个回调结果,方便我监控当前的执行状况,或者打个日志什么的。失败了,我也可以记录个异常信息什么的。
此时,CompleteableFuture就无能为力了。
传统开发模式
伪代码
// 并行处理任务 Product 、 Item 的任务
@Resource
List<ParaExector> paraExectors;
// 依赖于Product 和 Item的 任务
@Resource
List<SerExector> serExectors;
public void testFuture(HttpServletRequest httpServletRequest) {
DataContext dataContext = new DataContext();
dataContext.setHttpServletRequest(httpServletRequest);
List<Future> list = new ArrayList<>();
for (AsyncTask asyncTask : paraExectors) {
Future<?> submit = gobrsThreadPoolExecutor.submit(() -> {
asyncTask.task(dataContext, null);
});
list.add(submit);
}
for (Future future : list) {
try {
future.get();
} catch (InterruptedException e) {
e.printStackTrace();
} catch (ExecutionException e) {
e.printStackTrace();
}
}
List<Future> ser = new ArrayList<>();
for (AsyncTask asyncTask : serExectors) {
Future<?> submit = gobrsThreadPoolExecutor.submit(() -> {
asyncTask.task(dataContext, null);
});
ser.add(submit);
}
for (Future future : ser) {
try {
future.get();
} catch (InterruptedException e) {
e.printStackTrace();
} catch (ExecutionException e) {
e.printStackTrace();
}
}
}
存在问题
以上示例中,Product 数据是通过RPC 方式获取, Item是通过HTTP 获取,大家都知道, RPC性能要高于HTTP性能。 但是通过Future 的方式, get会阻塞等待 Item 数据返回后才会往下执行。 这样的话,图书音像、装修数据、限购数据等都要等待Item数据返回,但是这些中台并不依赖Item返回的数据, 所以会产生等待时间影响系统整体 QPS。
Gobrs-Async 解决并发场景难题
复杂多线程场景开发设计成本大
多线程开发管理成本高
传统多线程回调、监控能力缺失
团队配合无统一开发规范
核心能力
架构设计
Gobrs-Async在设计时,就充分考虑了开发者的使用习惯, 没有依赖任何中间件。 对并发框架做了良好的封装。主要使用 CountDownLatch
、ReentrantLock
、volatile
等一系列并发技术开发设计。
核心类
友情链接
更多关于 快速接入 、性能压测 的报告请访问官方查看
沟通
对于这个项目,是否有什么不一样看法,欢迎在 Issue 一起沟通交流; 欢迎添加作者微信进交流群:Gang-sz
本文章属于dromara开源社区(https://dromara.org/)