light task schedule的定时任务实现源码解析

一：什么是light-task-schedule?

LTS(light-task-scheduler)主要用于解决分布式任务调度问题，支持实时任务，定时任务和Cron任务。有较好的伸缩性，扩展性，健壮稳定性而被多家公司使用，同时也希望开源爱好者一起贡献。

分布式任务调度框架, 支持 实时任务；支持定时任务 (如：1分钟执行一次)；CronExpression 任务(如:0 0/1 * * * ?)

二：下载地址

github地址: https://github.com/ltsopensource/light-task-scheduler

oschina地址: http://git.oschina.net/hugui/light-task-scheduler

例子: https://github.com/ltsopensource/lts-examples

三：框架概况：

LTS 有主要有以下四种节点：

支持动态修改任务参数,任务执行时间等设置,支持后台动态添加任务,支持Cron任务暂停,支持手动停止正在执行的任务(有条件),支持任务的监控统计,支持各个节点的任务执行监控,JVM监控等等.

FailStore：策略：
顾名思义，这个主要是用于失败了存储的，主要用于节点容错，当远程数据交互失败之后，存储在本地，等待远程通信恢复的时候，再将数据提交。
FailStore主要用户JobClient的任务提交，TaskTracker的任务反馈，TaskTracker的业务日志传输的场景下。
FailStore目前提供几种实现：leveldb,rocksdb,berkeleydb,mapdb,ltsdb，用于可以自由选择使用哪种,用户也可以采用SPI扩展使用自己的实现。
 

四：框架流程图：

 五：特性

• JobClient：主要负责提交任务, 并接收任务执行反馈结果。
• JobTracker：负责接收并分配任务，任务调度。可以和jobClient 都部署在一个服务里面去。
• TaskTracker：负责执行任务，执行完反馈给JobTracker。（我们的微服务主要是）
• LTS-Admin：（管理后台）主要负责节点管理，任务队列管理，监控管理等。

• 其中JobClient，JobTracker，TaskTracker节点都是无状态的。 可以部署多个并动态的进行删减，来实现负载均衡，实现更大的负载量, 并且框架采用FailStore策略使LTS具有很好的容错能力。

  LTS注册中心提供多种实现（Zookeeper，redis等），注册中心进行节点信息暴露，master选举。(Mongo or Mysql)存储任务队列和任务执行日志, netty or mina做底层通信, 并提供多种序列化方式fastjson, hessian2, java等。

• admin 调用接口都是通过注册中心发现调用其他请求的api.

• LTS支持任务类型：

• 实时任务：提交了之后立即就要执行的任务。
• 定时任务：在指定时间点执行的任务，譬如 今天3点执行（单次）。
• Cron任务：CronExpression，和quartz类似（但是不是使用quartz实现的）譬如 0 0/1 * * * ?

1、Spring支持

LTS可以完全不用Spring框架，但是考虑到很用用户项目中都是用了Spring框架，所以LTS也提供了对Spring的支持，包括Xml和注解，引入lts-spring.jar即可。

2、业务日志记录器

在TaskTracker端提供了业务日志记录器，供应用程序使用，通过这个业务日志器，可以将业务日志提交到JobTracker，这些业务日志可以通过任务ID串联起来，可以在LTS-Admin中实时查看任务的执行进度。

3、SPI扩展支持

SPI扩展可以达到零侵入，只需要实现相应的接口，并实现即可被LTS使用，目前开放出来的扩展接口有

对任务队列的扩展，用户可以不选择使用mysql或者mongo作为队列存储，也可以自己实现。 对业务日志记录器的扩展，目前主要支持console，mysql，mongo，用户也可以通过扩展选择往其他地方输送日志。

4、故障转移

当正在执行任务的TaskTracker宕机之后，JobTracker会立马将分配在宕机的TaskTracker的所有任务再分配给其他正常的TaskTracker节点执行。

测试：把故障的taskTracker 给关掉，然后JboTracker 会监听到，启动一个定时任务扫描executeing_表，判断通道是关闭的或者离线超过10s中，去扫哪些gmt_modified 更新时间的20s的，把这些表的数据，重新放到

源码类：ExecutingDeadJobChecker，start

5、节点监控

可以对JobTracker，TaskTracker节点进行资源监控，任务监控等，可以实时的在LTS-Admin管理后台查看，进而进行合理的资源调配。

6、多样化任务执行结果支持

LTS框架提供四种执行结果支持，EXECUTE_SUCCESS，EXECUTE_FAILED，EXECUTE_LATER，EXECUTE_EXCEPTION，并对每种结果采取相应的处理机制，譬如重试。

7、FailStore容错

采用FailStore机制来进行节点容错，Fail And Store，不会因为远程通信的不稳定性而影响当前应用的运行。具体FailStore说明，请参考概念说明中的FailStore说明。

• EXECUTE_SUCCESS: 执行成功,这种情况，直接反馈客户端（如果任务被设置了要反馈给客户端）。
• EXECUTE_FAILED：执行失败，这种情况，直接反馈给客户端，不进行重试。
• EXECUTE_LATER：稍后执行（需要重试），这种情况，不反馈客户端，重试策略采用1min，2min，3min的策略，默认最大重试次数为10次，用户可以通过参数设置修改这个重试次数。
• EXECUTE_EXCEPTION：执行异常, 这种情况也会重试(重试策略，同上)

​

lts-admin : web 界面，控制界面

lts-core : netty 的交互逻辑

lts-jobclient