分布式定时任务系列4：任务执行引擎设计续

已于 2023-08-05 15:02:58 修改
阅读量669 收藏
点赞数
分类专栏： JAVA # 分布式调度 文章标签： java
于 2022-03-27 09:35:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weigeshikebi/article/details/123768137
版权

分布式定时任务系列3：任务执行引擎设计https://blog.csdn.net/weigeshikebi/article/details/123145716?spm=1001.2014.3001.5502在前面一节讨论中，设想基于xxl-job包装一个业务执行引擎出来，达到以下几个目的：

  • 并发问题

  • 重试机制

  • 统一的编程模型

  • 充分利用分布式系统的能力

系统设计

根据上面的几点，这节就想办法动手实现一个出来。

DB存储

由于目的是先把架子搭起来，而不用考虑其它性能方面，所以选用DB进行存储。初步的表设计如下

表主要字段解释如下

字段类型说明
task_typeint这个字段用于区分不同的业务/功能，比如短信发送，日终处理，权限清理等
sub_typeint这个字段的目的，是在同一个task_type下，如果有多个步骤都要进行定时任务处理，比如短信发送时：捞取符合条件的待发送账户，余额结算，短信发送等
task_statusint        任务状态，表示任务的执行过程，比如：INIT，PROCESSING，FAIL，SUCCESS等
flow_idstring用来跟踪同一个task_type下，多个sub_type的执行过程的辅助字段

类图

对于异步任务来说， 使用者理论上只关心业务逻辑，所以要尽量只关注业务代码，而其它的都交给引擎去处理。所以最好是提供一个接口，让使用者来实现业务逻辑

  • Task接口是任务接口，任何一个业务处理都需要实现这个接口：比如MsgTaskImpl，BalanceTaskImpl等
  • MsgTaskImpl，BalanceTaskImpl是具体的业务实现，如果需要使用异步任务引擎，需要实现Task接口
  • TaskEngine是异步任务的入口，也是引擎被刺的核心类，里面有个execute方法，业务处理调用此方法驱动任务执行
  • TaskFactory是任务的工厂类，维护任务类型与任务实现之间的关系：当注册一个任务时，调用register方法设置到内部的一个Map变量，TaskEngine执行时，通过getByType获取对应的task实现执行，也就做到动态扩展
  • TaskStatusEnum，是任务的状态，任务是由业务产生，初始状态为INIT，被引擎执行之后变成PROCESSING，执行完成后，根据结果变为终态：SUCCESS/FAIL
  • InitializingBean，Spring的实例化接口，用它来将task实现注册到TaskFactory中
  • JobHandler，里面配置异步任务的规则，@XxlJob注解对应xxl-job平台任务

执行流程图

现在来看下一个任务执行的整体顺序，假设是短信发送的业务 

  • 业务系统产生异步任务，存储到DB，调用task引擎提供的接口
  • xxl-job定时任务触发，通过taskEngine扫描到对应的处理任务
  • 将任务从INIT更新为PROCESSING，表示正在处理中
  • taskEngine根据taskType，subType从TaskFactory中获取对应的处理实例，执行对应的业务逻辑：业务逻辑由task实现的业务处理编写
  • 执行完成，更新任务状态为终态：如果成功为SUCCESS，失败为FAIL

并发的处理

这里要考虑并发的问题，即多台实例执行同一个任务时，只能有一个线程在执行，自然而然想到锁，对于分布式的情况，可以用分布式锁来控制，所以这里还需要依赖redis之类的做分布式锁

异常的处理

这里还要考虑，如果是业务处理发生异常，任务状态该怎么处理？直接更新为FAIL，是最简单且直接的处理，但是如果异常不是业务异常，是网络抖动之类的，是不是应该考虑兼容，做到自动重试？所以这里面还要涉及到重试的处理

基于此，上面的类图，应该增加对redis的依赖

且最终和执行逻辑为

kobe_t
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
jtools-task-engine:任务引擎
05-10
jtools-task-engine 任务引擎
spring-boot-demo：该项目已成功集成驱动器（监控），admin（可视化监控），logback（日志），aopLog（通过AOP记录网络请求日志），统一异常处理（json等级和页面等级），freemarker（模板引擎），thymeleaf（模板引擎），Beetl（模板引擎），Enjoy（模板引擎），JdbcTemplate（通用JDBC操作数据库），JPA（强大的ORM框架），mybatis（强大的ORM框架），通用Mapper（快速操作Mybatis），PageHelper（通用的Myba
01-29
中文| 项目简介 spring boot demo是一个用来深度学习并实战spring boot的项目，目前总共包含66个集成demo，已经完成55个。 该项目已成功集成执行器（监控），admin（可视化监控），logback（日志），aopLog（通过AOP记录web请求日志），统一异常处理（ json级别和页面级别），freemarker（模板引擎），thymeleaf（模板引擎），Beetl（模板引擎），Enjoy（模板引擎），JdbcTemplate（通用JDBC操作数据库），JPA（强大的ORM框架），强大的ORM框架（强大的ORM框架），通用Mapper（快速操作Mybatis Mybatis），PageHelper（通用的Mybatis分页插件），mybatis-plus（快速操作Mybatis Mybatis），BeetlSQL（强大的ORM框架），upload（本地文件上传和七牛云文件上传），redis（缓存），ehcache（缓存），email（发送各种类型邮件），任务（基础定时任务），Quartz（动态管理定时任务），xxl-job（分布式定时任务），swagge
webkettle:BS版本kettle
05-15
webKettleETL产品介绍 webkettle平台，创造性的将平台构建为B/S架构的ETL模型设计以及集成用户专业调度管理的分布式ETL建模运维系统。 系统分为七大模块:模型、平台、任务、定时调度、日志、节点、用户. 模型模块进行ETL模型开发，在B/S系统中用拖拽的方式设计数据流逻辑。 其他六个模块为用户专业调度管理系统,更多是面向业务运维人员，关注于整个流程的执行情况和数据的导入导出细节信息,以及对任务的综合调度。完全支持集群和单机两种运行模式。并通过用户权限的管控让平台的资源分配变得更加专业。 模块展示 平台 展示平台概况 模型设计 进行ETL模型设计调试 任务管理 对ETL任务进行综合的调度管理以及监控 日志 ETL任务的执行日志模块 节点管理 ETL任务的执行引擎节点管理 定时调度 定时ETL任务管理 用户管理 平台的用户权限管理系统 webKettleETL技术实现 ET
taskengine:使用一个简单的 json 文件，因此可以通过许多其他界面（命令行、电话、网络等）使用它。 支持子任务、截止日期、分配给多个任务的单个子任务以及任务管理器所做的所有正常事情
06-11
任务引擎 使用一个简单的 json 文件，因此可以通过许多其他界面（命令行、电话、网络等）使用它。 支持子任务、截止日期、分配给多个任务的单个子任务以及任务管理器所做的所有正常事情。 使用本系统的命令行界面，参见： : 可以通过以下方式安装为依赖项： npm install taskengine
分布式任务调度框架 集合
07-08
1. TBSchedule 一个简洁的分布式任务调度引擎 官方出处 http://code.taobao.org/p/tbschedule/wiki/index/ 2. DISchedule 对TBSchedule分布式任务调度进行了简单改造 3. light-task-scheduler LTS是一个轻量级分布式任务调度框架。有三种角色, JobClient, JobTracker, TaskTracker。 4. uncode-schedule 基于zookeeper+spring task的分布式任务调度组件，非常小巧，无需任何修改就可以使spring task具备分布式特性，确保所有任务在集群中不重复，不遗漏的执行。 5.Quartz 官方地址：http://www.quartz-scheduler.org/downloads 另外付(2.2.1版本的官方说明文档) 目前主流的分布式任务调度框架 个人建议用Quartz 文档全资料多 不过看自己项目需求把 TBSchedule和uncode-schedule基于zookeeper 不用数据库 总之每个框架有各自的优缺点，需求自己略做验证。 附件中有项目的下载地址 可以随时跟新到最新版本和资料。
分布式定时任务系列3：任务执行引擎设计
weigeshikebi的博客
02-26 562
分布式定时任务系列3：任务执行引擎设计
设计一个任务处理引擎（一）
Alecor的博客
05-28 724
业务说明： 在工作中，业务上涉及到大量的定时任务，我公司目前采用的是当当的ElasticJob分布式定时任务框架搭建的，由于业务已经成型，在定时任务上改造不太合适，最终决定自己设计一套任务处理框架；用户监控、调整实施运行的每一个任务； 业务场景 我们的业务场景主要是： 一个公司 + 多个账户 ，每个账号下的拥有若干个任务；类似于下面的构图； 设计原因 由ElasticJob控制若干台机器执行任务，由于Elasticjob的局限性，操作不到具体的任务1、任务2等等数据， 如：监控运行时长、强制中断，又或者运
freeswitch的任务引擎问题与解决方案
求真得真的博客
04-26 504
freeswitch核心框架中有一个定时任务系统task，在开发过程中用来做一些延时操作和异步操作很方便。我们在VOIP的呼叫流程中，经常会有一些对实时性要求没那么高的操作，或者会有阻塞流程的操作，我们都可以开启一个定时任务子流程，来达到延时和异步的目标。但是在实际的生产应用中，该task模块在任务高并发的情况下发生了一些问题，通过压力测试可以重现。问题现象。1，task的group和desc为空的问题，并有极小概率造成coredump。2，task.runtime错误的问题，导致任务无法执行。
一种基于springboot、redis的分布式任务引擎的实现（一）
最新发布
平常心
08-19 1332
没有借助中间件，单存springboot、redis实现的分布式任务引擎，涉及到的知识点包括，redis存取、消息订阅、redis锁、java多线程等。具有实现快、体量轻等特点，以下将主要代码和大家分享~~
Nacos2.0.3源码解析（一）任务执行引擎的原理和使用
weixin_42937773的博客
02-06 931
该执行引擎实际上是一个立即执行任务的引擎，在创建引擎的时候会初始化对应的任务处理器（TaskExecuteWorker），该引擎中只能添加执行继承了AbstractExecuteTask的任务，并且可以指定自定义的处理器对任务进行处理，如果不指定，则是默认使用TaskExecuteWorker处理。
task-engine:任务引擎是一个可以帮助我们轻松执行各种异步任务的库
07-06
任务引擎是一个可以帮助我们轻松执行各种异步任务的库。 维基 有关更多详细信息，请访问我们的。
liteflow:liteflow是一个基于任务版本来实现的分布式任务流调度系统
05-13
一、LiteFlow是做什么的 liteflow是一个基于任务版本来实现的分布式任务流调度系统 1.实现任务在任务流间共享 2.任务/任务流的可视化配置 3.一键修复任务/任务流修复提高数据修复效率 4.动态表单+容器机制，提供一个可扩展性比较强的执行引擎 5.执行者可以运行任何类型的任务，shell、python 二、LiteFlow项目介绍 1.项目主要分为控制台和执行引擎 1) 主要用来配置以及调度任务 2) 执行引擎(EXECUTOR) 依托容器->插件->任务实现 容器分为同步容器和异步容器 三、相关知识 1. 2. 3. 4. 5.项目部署相关 相关项目 dubbo azkaban
attemper:Distributed,multi-tenancy,job-flow scheduling application(分布式多租户的支持流程编排的任务调度平台) QQ群
05-05
attemper 基于quartz实现分布式任务调度（定时、API）；引入camunda作为任务执行框架，支持工作流式任务编排、并发批量调度和参数传递。 简介 分布式、多租户的支持流程编排的任务调度应用 同时支持Redis分布式锁和Quartz数据库悲观锁 基于camunda工作流引擎，支持工作流式的任务编排 基于Spring Boot框架开发，对微服务友好 支持Mysql/Oracle/Sql Server/PostgreSQL 支持Eureka作为注册中心，可自行扩展与Spring Cloud集成的其他注册服务的中间件 支持脚本任务(Shell/Python等) 支持父子、并发、分支判断等任务 支持(父子)任务传参、参数替换 目前支持邮件、钉钉、企业微信三种告警 支持延迟任务(预约操作) 支持金融与证券等行业的交易日 支持国际化(中英)与时区 功能 - 调度 - 基于数据库锁(qu
DAOS_TSE(TaskSchedulerEngine)任务调度引擎流程及源码分析
ssbandjl的博客
08-08 290
TSE 是一个通用库，用于创建具有函数回调的通用任务，可选地添加这些任务之间的依赖关系，并将它们安排在一个引擎中，该引擎按照插入它们的依赖关系图确定的顺序执行这些任务。任务依赖图是调度程序的组成部分，允许用户创建多个任务并以非阻塞方式进行
任务流程引擎设计
dong_lxkm的博客
08-05 5147
一、前言         前段时间做的一块东西，涉及到任务的拆解与依赖，由于时间紧急，当时采用的硬编码办法解决，现在终于回过神来，于是设计成一个“小框架”。 二、问题描述         进行大数据分析，用Java调用Sqoop接口将数据导入Hadoop，然后...
关于 Nacos 任务执行引擎的设计
一剪梅的博客
06-16 403
说明：本篇文章部分内容参考了网上的文章(在下文已给出原文链接)，由于本人能力有限，如果有书写错误的地方，欢迎各位大佬批评指正！我们互相交流，学习，共同进步！ 该项目的地址：https://github.com/xiaoheng1/nacos_read 关于 Nacos 任务执行引擎的设计 // 任务的抽象. public interface NacosTask { /** * Judge Whether this nacos task should do. * * @return true means
定时任务框架初步学习
S_duxiu的博客
09-10 336
9.10 定时任务框架初步了解 阅读框架实现方式，有助于更好的使用框架，理解设计思想。 一、基本使用 了解定时任务的基本使用 1.1 引入框架源码 1.2 调用SchedulerManager创建定时任务 该类是定时任务的线程管理工具，可通过此类提供的方法，创建定时任务，并加入线程队列 schedulerManager.schedule("activitybegin-job", "0 0/5 * * * ?", new ScheduledJob() { @Override priva.
第 12 章 执行引擎
Oneby的博客
09-04 1234
第 12 章 执行引擎 1、执行引擎概述 执行引擎位置 执行引擎属于JVM的下层，里面包括：解释器、即时编译器、垃圾回收器 1.1、执行引擎概述 执行引擎概述 执行引擎是Java虚拟机核心的组成部分之一。“虚拟机”是一个相对于“物理机”的概念，这两种机器都有代码执行能力，其区别是物理机的执行引擎是直接建立在处理器、缓存、指令集和操作系统层面上的，而虚拟机的执行引擎则是由软件自行实现的，因此可以不受物理条件制约地定制指令集与执行引擎的结构体系，能够执行那些不被硬件直接支持的指令集格式。 JV
如何拿到阿里offer的？面试流程及面试题
热门推荐
weigeshikebi的博客
08-19 3万+
一个偶然的开始 交待一下(非广告)，第一次用拉勾，感觉做的挺好，以前一直用51job。 从7月分开始，打算找工作，一个偶然的机会，拉勾上一个蚂蚁金服的同学找到我，说要内推，在此感谢姚同学！ 然后就开始了蚂蚁金服的面试之旅。 面试流程 把简历发过去之后，就收到了邮件通知，10个工作日联系我，请耐心等待。 一面 没过2天就接到一个杭州的座机，说要约我进行电话面试，效率还是挺高，然后当天晚...
flink进行分布式原理
06-09
Flink是一个分布式数据处理框架，它的分布式原理主要包括以下几个方面： 1. 任务分配：Flink采用了JobManager和TaskManager两种角色来进行任务分配。JobManager负责任务的调度和管理，而TaskManager则负责具体的任务执行。JobManager将任务分配到不同的TaskManager节点上进行执行。 2. 数据分区：Flink将数据分为多个分区，每个分区可以在不同的节点上进行处理。Flink采用了基于哈希的数据分区策略，可以根据数据的Key或哈希值将数据分配到不同的节点上进行处理。 3. 数据传输：Flink使用了轮询的方式来进行数据传输，即TaskManager节点会定时轮询发送到它的下游节点上是否有数据需要处理。Flink还使用了基于内存的数据传输方式，可以提高数据传输的效率。 4. 容错机制：Flink采用了基于Checkpoint的容错机制。当一个TaskManager节点出现故障时，Flink会将其它节点上的数据进行重新计算，保证数据处理的连续性和正确性。同时，Flink还支持基于Savepoint的容错机制，可以让用户手动保存任务的状态，以便在需要时进行恢复。 5. 状态管理：Flink使用了基于RocksDB的状态后端来管理任务的状态。RocksDB是一种高性能的本地存储引擎，可以提高状态读写的效率。同时，Flink还支持将状态存储到分布式文件系统中，以提高数据的可靠性和容错性。 总的来说，Flink具有高效的任务分配、数据分区和数据传输机制，同时还具有强大的容错和状态管理功能，可以保证数据处理的高效性和可靠性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值