JAVA 分布式任务调度框架Mars-Job

项目地址:github.com/lemont-sr/m…

前言:

开源的分布式调度框架基本上分为两种:
一种为中心化调度,如xxl,将调度任务单独提炼出来,达到解耦的目的。
另一种是去中心化调度,如elastic-job。本文介绍的项目是后者类型。

使用背景

一个web项目多机部署,web项目中可以配置具体的任务,任务同一时刻只能有一台机器执行。
一种实现方式是定时任务固定时间检查数据库,定时更新任务(因为多台机器,web上对任务操作只会指向一台机器)。
本项目是使用zk来实现任务同步,定时任务不重复调度。
此外项目融入spring,使用起来和spring的schedule功能体验一样,方便快捷。

项目功能

该框架可以做什么

  1. 继承simplejob保证多机同时只有一台机器执行任务
  2. 继承shardingjob可以获取分片,多机协调完成任务
  3. 任务在一台机器上添加,可以选择同步到集群上,方便集群间任务启停同步

实现原理

依赖zookeeper,节点间通过zookeeper实现任务同步,任务不重复执行,任务分片,主从选举,主备切换。
mars-job通过zk保证任务的更新的顺序性,一致性,多机任务不重复执行,任务分片等功能 上述的任务同步通过mq可以实现,但增加了项目复杂度。

转载于:https://juejin.im/post/5c8c72bf6fb9a04a0956f0b1

基于xxl-job改造,支持1.6jdk。改分布式任务调度特性如下: 1、简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手; 2、动态:支持动态修改任务状态、暂停/恢复任务,以及终止运行中任务,即时生效; 3、调度中心HA(中心式):调度采用中心式设计,“调度中心”基于集群Quartz实现,可保证调度中心HA; 4、执行器HA(分布式):任务分布式执行,任务"执行器"支持集群部署,可保证任务执行HA; 5、任务Failover:执行器集群部署时,任务路由策略选择"故障转移"情况下调度失败时将会平滑切换执行器进行Failover; 6、一致性:“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行; 7、自定义任务参数:支持在线配置调度任务入参,即时生效; 8、调度线程池:调度系统多线程触发调度运行,确保调度精确执行,不被堵塞; 9、弹性扩容缩容:一旦有新执行器机器上线或者下线,下次调度时将会重新分配任务; 10、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件; 11、状态监控:支持实时监控任务进度; 12、Rolling执行日志:支持在线查看调度结果,并且支持以Rolling方式实时查看执行器输出的完整的执行日志; 13、GLUE:提供Web IDE,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持30个版本的历史版本回溯。 14、数据加密:调度中心和执行器之间的通讯进行数据加密,提升调度信息安全性; 15、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔;
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值