分布式任务调度

吃胖的夏夏

于 2022-04-14 10:28:47 发布

阅读量2.8k

点赞数

文章标签： java spring spring boot

本文链接：https://blog.csdn.net/weixin_41775469/article/details/124165821

版权

分布式任务调度

分布式集群模式下，使用集中式任务调度会带来的问题

（1）多台机器集群部署的定时任务如何保证不被重复执行？

（2）如何在不重启服务的情况下动态调整定时任务的执行时间？

（3）部署定时任务的机器发生故障如何实现故障转移？

（4）如何对定时任务实现监控？

（5）业务量较大，单机性能瓶颈时，如何扩展？
分布式任务调度解决方案

（1）数据库唯一约束，避免定时任务重复执行（分布式锁）

（2）使用配置文件、redis、mysql作为调度开关（存储调度任务数据）

（3）使用分布式锁实现任务调度

（4）使用分布式任务调度平台 TBSchedule、Elastric-job、Saturn、XXL-JOB，Google Cron系统；
TBSchedule（已停止更新，推荐使用SchedulerX）

（1）概念介绍

TBSchedule是一个支持分布式的调度框架，能让一种批量任务或者不断变化的任务，被动态的分配到多个主机的JVM中，不同的线程组中并行执行。基于ZooKeeper的纯Java实现，由Alibaba开源。

（2）工作原理

TBSchesule对分布式的支持包括调度机的分布式和执行机的分布式，其网络部署架构图如下：

（3）GitHub地址

https://github.com/nmyphp/tbschedule
Elastric-job

（1）概念介绍

Elastic-Job是一个分布式调度的解决方案，由当当网开源，它由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成，使用Elastic-Job可以快速实现分布式任务调度。

（2）工作原理

App：应用程序，内部包含任务执行业务逻辑和Elastic-Job-Lite组件，其中执行任务需要实现ElasticJob接口完成与Elastic-Job-Lite组件的集成，并进行任务的相关配置。应用程序可启动多个实例，也就出现了多个任务执行实例。

Elastic-Job-Lite：Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服
务，此组件负责任务的调度，并产生日志及任务调度记录。
无中心化，是指没有调度中心这一概念，每个运行在集群中的作业服务器都是对等的，各个作业节点是自治的、平等的、节点之间通过注册中心进行分布式协调。

Registry：以Zookeeper作为Elastic-Job的注册中心组件，存储了执行任务的相关信息。同时，Elastic-Job利用该组件进行执行任务实例的选举。
Console：Elastic-Job提供了运维平台，它通过读取Zookeeper数据展现任务执行状态，或更新Zookeeper数据修改全局配置。通过Elastic-Job-Lite组件产生的数据来查看任务执行历史记录。

流程：应用程序在启动时，在其内嵌的Elastic-Job-Lite组件会向Zookeeper注册该实例的信息，并触发选举（此时可能已经启动了该应用程序的其他实例），从众多实例中选举出一个Leader，让其执行任务。当到达任务执行时间时，
Elastic-Job-Lite组件会调用由应用程序实现的任务业务逻辑，任务执行后会产生任务执行记录。当应用程序的某一个实例宕机时，Zookeeper组件会感知到并重新触发leader选举。
XXL-JOB

XXL-JOB是一个开源的，具有丰富的任务管理功能以及高性能，高可用等特点的轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展、开箱即用！！！
系统组成：

（1）调度模块（调度中心）：负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码。调度系统与任务解耦，提高了系统可用性和稳定性，同时调度系统性能不再受限于任务模块；支持可视化、简单且动态的管理调度信息，包括任务新建，更新，删除，任务报警等，所有上述操作都会实时生效，同时支持监控调度结果以及执行日志，支持执行器Failover
（2）执行模块（执行器）：负责接收调度请求并执行任务逻辑。任务模块专注于任务的执行等操作，开发和维护更加简单和高效；接收“调度中心”的执行请求、终止请求和日志请求等