docker 快鸟_Elastic-Job原理分析（version:2.1.4）

当当的Elastic-Job开源出了两种分布式Job的解决方案：

1. elastic-job-lite，这是一个无中心节点的调度；

Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。

2. elastic-job-cloud是一个有中心节点的分布式调度开源工具

Elastic-Job-Cloud使用Mesos + Docker(TBD)的解决方案，额外提供资源治理、应用分发以及进程隔离等服务。

Elastic-Job-Lite和Elastic-Job-Cloud提供同一套API开发作业，它们的核心都是elastic-job-core，开发者仅需一次开发，即可根据需要以Lite或Cloud的方式部署

Elastic-Job-Lite实现分布式job的原理：

要在分布式集群环境下去安全的执行一个调度任务，我们常规的想法就是保证在集群环境下，只有集群中的一台机器能够获取执行任务的权限。

但是Elastic-Job在实现分布式Job时没有按照这个思路去设计，而是将集群中所有的机器都利用起来，去多进程多线程的执行我们的作业任务。

那么它是如何做到分布式作业任务的不重不漏的呢？

Elastic-Job提出了一个数据分片(shardingItem)的概念。

举个例子：

假如我现在部署了3台机器的一个集群，并且按照Elastic-Job的要求设置了分片数量shardingCount=10，则按照Elastic-Job基于平均分配算法的分片策略得到的分片结果为：1=[0,1,2,9], 2=[3,4,5], 3=[6,7,8] (参见：com.dangdang.ddframe.job.lite.api.strategy.impl.AverageAllocationJobShardingStrategy.java)

那么在每一台机器上去执行时，我只要取到本机的数据分片对应的数据来处理，就能够实现数据的分片处理。并且集群中所有机器处理的数据总和即为全量数据。

这样就能把集群中所有的机器都调动起来去同时并行的处理任务，效率比较高。

更有甚者，如果本机的数据分片分到了多个分片(即一个JVM进程分到了多个分片)，则Elastic-Job会为每一个分片去启动一个线程来执行分片任务。

这样，一台机器就会开启多个线程就并行的处理作业任务，效率进一步的提高。

(参见：com.dangdang.ddframe.job.executor.AbstractElasticJobExecutor#process(ShardingContexts shardingContexts,

JobExecutionEvent.ExecutionSource executionSource))

特殊场景：分片数为1时

public class MyElasticJob implementsSimpleJob {public voidexecute(ShardingContext shardingContext) {//1.当分片数为1时,在同一个zookepper和jobname情况下,多台机器部署了Elastic//job时,只有拿到shardingContext.getShardingItem()为0的机器得以执行,其他的机器不执行//2.当分片数大于1时,假如有3台服务器，分成10片，则分片项分配结果为服务器A=0,1,2;服务器B=3,4,5;服务器C=6,7,8,9。此时每台服务器可根据拿到的shardingItem值进行相应的处理，//举例场景://假如job处理数据库中的数据业务,方法为:A服务器处理数据库中Id以0,1,2结尾的数据,B处理数据库中Id以3,4,5结尾的数据,C处理器处理6,7,8,9结尾的数据,合计处理0-9为全部数据//如果服务器C崩溃，Elastic//Job自动进行进行失效转移，将C服务器的分片转移到A和B服务器上，则分片项分配结果为服务器A&#