python分布式任务调度框架_超详细的分布式调度框架 Elastic-job 实践详解

本文转载自微信公众号「Java极客技术」，作者鸭血粉丝 。转载本文请联系Java极客技术公众号。

一、介绍

在前几篇文章中，我们详细的介绍了 Quartz 的架构原理以及应用实践，虽然 Quartz 也可以通过集群方式来保证服务高可用，但是它也有一个的弊端，那就是服务节点数量的增加，并不能提升任务的执行效率，即不能实现水平扩展!

之所以产生这样的结果，是因为 Quartz 在分布式集群环境下是通过数据库锁方式来实现有且只有一个有效的服务节点来运行服务，从而保证服务在集群环境下定时任务不会被重复调用!

如果需要运行的定时任务很少的话，使用 Quartz 不会有太大的问题，但是如果 现在有这么一个需求，例如理财产品，每天6点系统需要计算每个账户昨天的收益，假如这个理财产品，有几个亿的用户，如果都在一个服务实例上跑，可能第二天都无法处理完这项任务!

类似这样场景还有很多很多，很显然 Quartz 很难满足我们这种大批量、任务执行周期长的任务调度!

因此短板，当当网基于 Quartz 开发了一套适合在分布式环境下能高效率的使用服务器资源的 Elastic-Job 定时任务框架!

Elastic-Job-Lite最大的亮点就是支持弹性扩容缩容，怎么实现的呢?

比如现在有个任务要执行，如果将任务进行分片成10个，那么可以同时在10个服务实例上并行执行，互相不影响，从而大大的提升了任务执行效率，并且充分的利用服务器资源!

对于上面的理财产品，如果这个任务需要处理1个亿用户，那么我们可以通过水平扩展，比如对任务进行分片为500，让500个服务实例同时运行，每个服务实例处理20万条数据，不出意外的话，1 - 2个小时可以全部跑完，如果时间还是很长，还可以继续水平扩张，添加服务实例来运行!

2015 年，当当网将其开源，瞬间吸引了一大批程序员的关注，同时登顶开源中国第一名!

下面我们就一起来了解一下这款使用非常广泛的分布式调度框架。

二、项目架构介绍

Elastic-Job 最开始只有一个 elastic-job-core 的项目，定位轻量级、无中心化，最核心的服务就是支持弹性扩容和数据分片!

从 2.X 版本以后，主要分为 Elastic-Job-Lite 和 Elastic-Job-Cloud 两个子项目。

其中，Elastic-Job-Lite 定位为轻量级 无 中 心 化 解 决 方 案 ， 使 用jar 包 的 形 式 提 供 分 布 式 任 务 的 协 调 服 务 。

而 Elastic-Job-Cloud 使用 Mesos + Docker 的解决方案，额外提供资源治理、应用分发以及进程隔离等服务(跟 Lite 的区别只是部署方式不同，他们使用相同的 API，只要开发一次)。

今天我们主要介绍的是Elastic-Job-Lite，最主要的功能特性如下：

分布式调度协调：采用 zookeeper 实现注册中心，进行统一调度。

支持任务分片：将需要执行的任务进行分片，实现并行调度。

支持弹性扩容缩容：将任务拆分为 n 个任务项后，各个服务器分别执行各自分配到的任务项。一旦有新的服务器加入集群，或现有服务器下线，elastic-job 将在保留本次任务执行不变的情况下，下次任务开始前触发任务重分片。

当然，还有失效转移、错过执行作业重触发等等功能，大家可以访问官网文档，以获取更多详细资料。

应用在各自的节点执行任务，通过 zookeeper 注册中心协调。节点注册、节点选举、任务分片、监听都在 E-Job 的代码中完成。下图是官网提供得架构图。

啥也不用多说了，下面我们直接通过实践介绍，更容易了解里面是怎么玩的!

三、应用实践

3.1、zookeeper 安装

elastic-job-lite，是直接依赖 zookeeper 的，因此在开发之前我们需要先准备好对应的 zookeeper 环境，关于 zookeeper 的安装过程，就不多说了，非常简单，网上都有教程!

3.2、elastic-job-lite-console 安装

elastic-job-lite-console，主要是一个任务作业可视化界面管理系统。

可以单独部署，与平台不关，主要是通过配置注册中心和数据源来抓取数据。

获取的方式也很简单，直接访问https://github.com/apache/shardingsphere-elasticjob地址，然后切换到2.1.5的版本号，然后执行mvn clean install进行打包，获取对应的安装包将其解压，进行bin文件夹启动服务即可!

如果你的网速像蜗牛一样的慢，还有一个办法就是从这个地址https://gitee.com/elasticjob/elastic-job获取对应的源码!

启动服务后，在浏览器访问http://127.0.0.1:8899，输入账户、密码(都是root)即可进入控制台页面，类似如下界面!

进入之后，将上文所在的 zookeeper 注册中心进行配置，包括数据库 mysql 的数据源也可以配置一下!

3.3、创建工程

本文采用springboot来搭建工程为例，创建工程并添加elastic-job-lite依赖!

com.dangdang

elastic-job-lite-core

2.1.5

com.dangdang

elastic-job-lite-spring

2.1.5

在配置文件application.properties中提前配置好 zookeeper 注册中心相关信息!

#zookeeper config

zookeeper.serverList=127.0.0.1:2181

zookeeper.namespace=example-elastic-job-test

3.4、新建 ZookeeperConfig 配置类

@Configuration

@ConditionalOnExpression("'${zookeeper.serverList}&