银行核心系统：批量作业调度管理软件平台taskct

更多对etl调度工具taskctl的使用问题解析关注公众号"taskctl"(ID:gh_79ababc7910b)里面有详细的使用手册，欢迎过来查阅哦~

技术讨论群：75273038

大数据开发平台的核心组件之一：作业调度系统

作业调度系统是一个相对复杂的系统，涉及的内容繁杂，针对的场景多种多样，实现的方案千差万别，是一个需要理论和实践并重的系统。

本文重点谈理论，会先从大的场景划分的角度对市面上的各种调度系统进行分类讨论，然后再针对具体的作业调度系统，探讨一下各自的架构流派和实现方案，并简单分析一下各自的优缺点。希望能让大家对作业调度系统要做什么，该怎么做，有一个大致的了解

调度系统，更确切地说，作业调度系统（Job Scheduler）或者说工作流调度系统（workflow Scheduler）是任何一个稍微有点规模，不是简单玩玩的大数据开发平台都必不可少的重要组成部分。

除了Crontab，Quartz这类偏单机的定时调度程序／库。开源的分布式作业调度系统也有很多，比较知名的比如：oozie，azkaban，chronos，taskctl等等，此外，还有包括阿里的TBSchedule，SchedulerX，腾讯的Lhotse，当当的elastic-job，唯品会的Saturn等等

可以说，几乎每家稍微有点规模的数据平台团队，都会有自己的调度系统实现方案，要不然自研，要不然在开源的基础上进行一些封装和改造（比如很多公司采取了封装oozie的方式）。

接下来我们就深耕一下近段时间比较活得一款商业调度软件"taskctl"

 

敏捷调度taskctl

整个技术平台采用的典型C/S模式

应用程为客户端，控制层为服务端；同时服务端完成对目标层的调度控制

平台节点管理界面

主要用于定义核心节点，server调度服务节点以及代理节点与与这些节点之间的关系

完整的核心调度功能

技术工具平台核心主要可以完成串行、并行、依赖、互斥、执行计划、定时、容错、循环、条件分支、远程、负载均衡、自定义条件等各种不同的核心调度功能。

直观的图形界面系统

根据不同的功能分类，技术工具平台将客户端分为Admin(平台管理)、Designer(流程集成开发环境)、Monitor(流程监控管理)三套不同的软件。

● Admin：平台节点管理、任务类型管理、工程管理、应用设置、全局变量管理以及流程导入导出等功能。

● Designer：平台流程代码信息管理、代码设计编辑、流程图形编辑、规则语法适时检测功能以及编译发布等功能。

● Monitor：图形方式监控、多角度统计监控、流程启停重置、任务锁定、任务重做、信息对象查询等

完整的字符界面系统

字符界面客户端系统与桌面图形软件对应，也分相应的三套软件完成对应的功能。字符界面系统相比桌面系统，直观性、可操作性相对弱些，但功能完整性比桌面系统更强

总结：

工作流调度系统作为大数据开发平台的核心组件，牵扯的周边系统众多，自身的业务逻辑也很复杂，根据目标定位的不同，场景复杂度和侧重点的不同，市面上存在众多的开源方案。

但也正因为它的重要性和业务环境的高度复杂性，多数有开发能力的公司，还是会二次开发或者自研一套甚至多套系统来支撑自身的业务需求

本文部分观点参考来源 csdn

更多对etl调度工具taskctl的使用问题解析关注公众号"taskctl"(ID:gh_79ababc7910b)里面有详细的使用手册，欢迎过来查阅哦~

技术讨论群：75273038