java开源任务调度管理_如何实现自己的任务调度系统?--开源软件诞生18

任务调度与ERP难舍难分--第18篇

用日志记录“开源软件”的诞生

0acfbf94806e8b8eb7f6da2ea92431b9.png

什么是任务调度?

任务调度这个词貌似很高大上,其实不难理解。我们知道一个应用它执行任务的方式默认是实时且同步的,而所谓的任务调度就是让任务非实时的或异步的进行。换一个词也可以把它理解成计划任务或定时任务。

它解决了什么问题

要分析任务调度所解决的问题,先要看这个任务的特点以及需要如何执行。首先这类任务一般是系统根据一定的预设逻辑去代替人工完成的一件事。其次这类事无需实时完成或需要在某个特定时间完成,任务启动后只需在后台静默执行,执行完成后有条件的通知用户或用户自主查询执行结果即可。由此可见,以上需求是传统的应用无法做到的,所以就需要任务调度系统去实现它。

为什么单独研发调度系统?

从Java技术角度有很多定时任务的实现方式,比如Timer、ScheduledExecutor、Quartz,无论是哪种方式都可以简单的在一个项目中去集成定时任务的功能,而无需单独开发项目。那为什么我们在进行系统设计时,要提出任务调度系统这一思路呢?

那就需要先来分析下信息化系统的特点,首先信息化系统从功能设计的角度是分散的,即一个项目或模块一般只完成一件事的情况下,我们从需要设计很多很多的应用才能满足用户需求。就拿ERP举例,ERP包含计划预算、订单管理、库存管理、财务管理等一系列的模块或系统,而这些系统都是与业务直接关联的,所以哪个系统也离不开计划任务的功能,如果按照上述方式,我们必不可少的要将每个项目中都整合一套完整的计划任务组件才能满足我们的需求。这种做法不仅开发时更加麻烦、同时也带来了维护或扩展复杂度的指数提升,这种设计的风险可想而知。所以独立的任务调度系统就应运而生。

设计思路探讨

那么我们如何设计这个系统呢?我们来重点关注一下几点。

1、统一灵活的任务配置

(1)任务实现可配置:任务的具体逻辑可以通过方法或存储过程去实现,然后通过配置方式根据不同参数去自定义不同的任务需求。

(2)定时执行配置:定义好任务的逻辑后我们就需要配置执行逻辑,什么时间执行,是固定时间还是循环,何时开始何时结束,单次执行还是多次执行都需要详细的配置。

(3)线程配置:任务需要同步执行还是异步执行,是守护线程还是非守护线程。异常处理机制等都需要分别配置好。

(4)任务流程配置:有的时候我们不仅仅需要执行一个任务,可能需要执行一系列的任务,而任务的执行又是有先后之分的,这时候我们可以将一个一个配置好的任务串联成一个流程去执行。

2、便捷的任务启动和反馈

(1)启动任务:所有的任务配置好以后我们就需要启动任务,通过API的方式启动是最优的选择。

(2)反馈机制:对于任务的执行效果要对用户有一个反馈机制,给用户通知、直接回调或反写都是可以选择的方式。

3、监控任务执行情况和日志追踪

(1)任务监控:任务的执行过程不是一帆风顺的,可能成功,也可能出现执行异常、意外终止、人工终止等多种情况,所以需要根据任务的执行情况显示执行状态,并根据需要,让用户可重启或继续任务。

(2)日志追踪:如果出现重新执行仍然无法成功的情况,那么多数一定是出现了程序异常,所以日志的记录就必不可少,可让维护人员根据日志处理问题并解决问题。

抛砖引玉的分布式

当一个任务调度系统研发完成后,随着使用频率的增加,一定会遇到瓶颈,所以我们就会考虑到部署多个任务调度系统形成分布式,但部署多个系统,就会涉及到注册中心、负载、路由、数据同步等各种问题。本文只是在讨论如何设计任务调度系统的功能,并不涉及分布式调度的思路。在此不展开谈,只是抛砖引玉,有兴趣的朋友可以深入探索。

后记

如果您对我们正在做的开源软件感兴趣,欢迎各种形式的合作,作为贡献者或直接加入我们!让我们一起打造一套开源的信息化解决方案。【码云】或【GitHub】搜索“赤龙ERP”点击星标,亦可加入我们! 让我们从小开始做点伟大的事!与开发者交流 kzca2000

《分布式任务调度平台XXL-JOB》 一、简介 1.1 概述 XXL-JOB是一个轻量级分布式任务调度框架,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。 1.2 特性 1、简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手; 2、动态:支持动态修改任务状态、暂停/恢复任务,以及终止运行中任务,即时生效; 3、调度HA:“调度中心”基于集群Quartz实现,可保证调度中心HA; 4、任务HA:任务支持多地址配置,可保证任务执行HA; 5、任务Failover:多地址配置时,调度失败时将会平滑切换执行器进行Failover; 6、一致性:“调度中心”通过DB锁保证集群分布式调度的一致性; 7、自定义任务参数:支持在线配置调度任务入参,即时生效; 8、调度线程池:调度系统多线程触发调度运行,确保调度精确执行,不被堵塞; 9、执行日志:支持在线查看调度结果,并且查看完整的执行日志; 10、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件; 11、支持登录验证; 12、GLUE:提供Web IDE,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持30个版本的历史版本回溯。 12、数据加密:调度中心和执行器之间的通讯进行数据加密,提升调度信息安全性; 14、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔; 15、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用; 1.3 发展 于2015年中,我在github上创建XXL-JOB项目仓库并提交第一个commit,随之进行系统结构设计,UI选型,交互设计…… 于2015-11月,XXL-JOB终于REALEASE了第一个大版本V1.0, 随后我将之发布到OSCHINA,XXL-JOB在OSCHINA上获得了@红薯的热门推荐,同期分别达到了OSCHINA的“热门动弹”排行第一和git.oschina的开源软件月热度排行第一,在此特别感谢红薯,感谢大家的关注和支持。 于2015-12月,我将XXL-JOB发表到我司内部知识库,并且得到内部同事认可。 于2016-01月我司展开XXL-JOB的内部接入和定制工作,在此感谢袁某和尹某两位同事的贡献,同时也感谢内部其他给与关注与支持的同事。我司大众点评目前已接入XXL-JOB,内部别名《Ferrari》(Ferrari基于XXL-JOB的V1.1版本定制而成,新接入应用推荐升级最新版本)。据最新统计, 自2016-01-21接入至2016-07-20期间,该系统已调度72000余次,表现优异。新接入应用推荐使用最新版本,因为经过数个大版本的更新,系统的任务模型、UI交互模型以及底层调度通讯模型都有了较大的优化和提升,核心功能更加稳定高效。 至今,XXL-JOB已接入多家公司的线上产品线,接入场景如电商业务,O2O业务和大数据作业等,截止2016-07-19为止,XXL-JOB已接入的公司包括不限于:- 1、大众点评; - 2、山东学而网络科技有限公司; - 3、安徽慧通互联科技有限公司; - 4、人人聚财金服; - 5、上海棠棣信息科技股份有限公司 - 6、运满满 - 7、米其林(中国区) - 8、妈妈联盟 - 9、九樱天下(北京)信息技术有限公司 - 10、万普拉斯科技有限公司(一加手机) - ……欢迎大家的关注和使用,XXL-JOB也将拥抱变化,持续发展。 1.4 下载 源码地址 (将会在两个git仓库同步发布最新代码)github地址git.osc地址 中央仓库地址 (将会把上个版本的公共依赖,推送到中央仓库)<!-- http://repo1.maven.org/maven2/com/xuxueli/xxl-job-core/ -->     com.xuxueli     xxl-job-core     1.4.1 博客地址oschina地址cnblogs地址csdn地址 技术交流群(仅作技术交流):367260654 标签:任务调度  job  作业调度
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值