浅谈分布式任务调度框架

1、前言

上一篇文章谈了单机的定时任务解决方案，只能在单个JVM进程中使用；而我们的现在基本上是分布式场景，需要一套在分布式环境下高性能、高可用、可扩展的分布式任务调度框架；是否将之前的单机解决方案部署到分布式就可以？面临的分布式场景如何实现分布式的任务调度，如何解决单点故障问题实现高可用？接下来我们首先分析分布式任务调度框架相对单机的优势以及结合几种任务调度框架分析是如何逐步实现分布式的高可用、效率的，最后综合比较下业界比较流行的框架，在项目开发中方便选择。

2、Why 分布式任务调度框架

背景

1、单点故障

举个例子，村里只有一口井，有口井突然被污染了，村里就都没有井水喝了；分布式就是平时挖了多口井，一口井出问题照样有水喝。

之前我们说到单机的定时任务可能机器存在异常，如果没有分布式任务调度，那这个机器上所有定时任务只能等到这个机器恢复后才可以执行，这显然可用性就很低。

分布式任务调度就是在集群中多台调度、多台执行，一台调度机器或者执行机器出问题，能够立刻故障转移，不影响后续任务的执行，提高整体的可用性。

2、性能瓶颈

都知道一台机器的CPU、内存资源是有限的，像我们单机任务都直接写在业务机器上，单机任务瓶颈立现；当定时任务多，每秒执行上W个定时任务，单机是难以支撑的，而且定时任务会影响到业务系统的资源，整个系统就会非常不可靠。单机靠多线程，单机瓶颈达到后就要依靠分布式集群来水平扩展，解决资源瓶颈问题。

3、协同效率

每个定时任务调度的使用业务方都需要自己在业务系统构造一套分布式定时任务调度框架吗？这显然是低效？专业分工是必然的发展趋势，这就需要分布式的任务调度框架的出现，其他业务作为接入方，使用即可，不需要再考虑分布式调度的调度策略的高可用、异常故障恢复、控制台配置等等问题，只需要专注业务逻辑即可。

3、演进过程

什么是分布式任务调度

分布式任务调度，三个关键词：分布式、任务调度、配置中心。
分布式：平台是分布式部署的，各个节点之间可以无状态和无限的水平扩展（保证可扩展）；

任务调度：涉及到任务状态管理、任务调度请求的发送与接收、具体任务的分配、任务的具体执行；（集群中哪些机器什么时候执行什么任务，所以又需要一个可以感知整个集群运行状态的配置中心）

配置中心：可以感知整个集群的状态、任务信息的注册

常见的分布式任务调度框架一般有以下5个部分
1、控制台：负责调度任务的配置、任务状态、信息展示
2、接入：将控制台的任务转化下发给调度器，并且向注册中心注册任务
3、调度器：接收接入下发的调度任务，进行任务拆分下发，在注册中心找执行器，然后把任务下发到执行器执行，同时也注册到注册中心
4、执行器：接收调度任务，并且上报状态给注册中心
5、注册中心：机器、任务状态的同步、协调

现在林林总总的框架，大部分都是在Quartz的基础上进行改进，我们先来看看经典的Quartz怎么