分布式调度引擎elastic-job3源码分析(六)-失效转移

背景

 

调度引擎是关键的基础设施，不但是定时执行任务，更是大规模分布式任务引擎，分布式并行处理平台，管理计算节点集群，提供高吞吐的可伸缩的数据处理能力。

公司日益增长的业务，对调度引擎高吞吐，高并发的要求也快速增长，需构建一个无中心，管理大集群，健壮分片容错的任务调度任务平台，支撑业务发展。

同时，分布式调度引擎也是datax，可观测-性能指标组件(sentinel dashboard)分布式改造的核心技术

参考

芋道源码 https://blog.csdn.net/X5fnncxzq4/article/details/86770194

https://www.jianshu.com/nb/18843035

术语

无中心/有中心分布式 有中心分布式设置中心节点负责集群协调和元数据保存等工作，例如xxl-job的admin/executor， dolphin-scheduler master-worker都是有中心分布式设计；真正无中心设计很少，大部分是节点平等，都可以通过选举成为主节点，也就是，任何一个节点都可以成为中心

脑裂 无中心分布式设计，当网络出现问题，节点分割成多个集群，集群间因不能通讯而不能达到状态一致，通常解决方案是集群节点数奇数，节点数少于总数的集群中一半停止工作

分片/容错 分片是调度平台很重要的特性，调度处理大规模数据，需要分片执行，分片执行带来新的问题，分片失败，平台回收分片，转移到其他节点执行

详细分析

服务可分为功能服务和核心服务，其中核心服务支撑功能服务的服务，功能任务有任务注册，任务执行，失效转移等，是调度平台的”业务”功能

失效转移

失效转移是运行节点下线后，其他在线运行节点抓取该节点分配的分片执行，保证整个作业的完整性，是分布式调度引擎必备的特性

失效触发

JobCrashedJobListener 监听运行实例znode /instances/{instanceId} 删除事件，即运行实例下线事件，

本节点下线不处理

失效转移

失效转移类图

犹如员工请假，需要其他员工接替工作，运行实例下线需要接替两类工作，将(未)触发的作业，通过重新分片处理；失效转移针对正在进行的作业分片

运行实例正在进行的工作(分片)有哪些

1. 设为missfired的分片，包括quartz missfired和重叠执行转missfired
2. 抢到的失效转移分片，抢到后运行实例下线了
3. 正常分片分配到的作业分片

missfired没有处理，之前分片服务分析了，重分片会剪掉多出的/sharding/item， ！！！丢失待处理missfired分片，处理及时性也是问题

继续分析监听器

首先getFailoveringItem获取下线实例抢到的失效转移分片，这是在弦上的箭，该znode是failoverIfNecessary写入的，下面会分析到

setCrashedFailoverFlagDirectly/setCrashedFailoverFlag方法，写入/leader/failover/items/{itemNum}，需要失效转移的分片, 待failoverIfNecessary抓取

两方法区别，setCrashedFailoverFlag先看看是否已分配，setCrashedFailoverFlagDirectly一定要分配，即此分片一定未分配， getFailoveringItem是先处理，getCrashedShardingItems后处理，后处理可能与先处理的相同，因此先检查是否已分配

shardingService.getCrashedShardingItems 抓取正常作业分片

获取失效转移分片后，FailoverService.failoverIfNecessary主节点回调处理，该方法有两处调用，JobCrashedJobListener和作业执行的最后

/leader/failover/latch，这是znode存储分析时说到的两个选主znode之一，用于失效转移处理同步

主节点后的回调，与多线程同步一样，保证只有一个实例处理

>获取一个失效转移分配，每次只抢一个，增加并行度

jobNodeStorage.getJobNodeChildrenKeys(FailoverNode.ITEMS_ROOT).get(0)

>写入当前运行实例Id到，抢占转移分片

/sharding/{itemNum}/failover和/sharding/{itemNum}/failovering

为什么需要两个znode

/failover现在分配给谁了，临时的状态，用于执行时决策

/failovering 已经给谁了，持久节点，用于回收

>从/leader/failover去掉抢到的分片

>触发作业执行

最后

跑一下失效转移

ElasticJobExecutor.execute

*什么意思，failoverIfNecessary 只获取一个失效转移分片，能起什么作用

FailoverSettingsChangedJobListener 失效转移热配置，监听配置节点，检查是否关闭失效转移