ElasticJob的高可用之失效转移问题

最新推荐文章于 2024-07-17 23:08:21 发布
最新推荐文章于 2024-07-17 23:08:21 发布
阅读量754 收藏 3
点赞数
分类专栏： elastic-job 文章标签： elastic-job zookeeper java quartz
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shijianjinghun/article/details/111051125
版权

本文基于elastic-job.2.1.5版本

ElasticJob官方文档地址

目录


本文主要介绍分布式环境下，有一台作业服务器宕机或网络异常离线情况下，导致该服务器上的分片任务丢失，这种情况下该如何处理。

1. 代码示例

  1. @ElasticJobConf这个用法是笔者自己写的一个Elastic-job-spring-boot-starter上的一个自定义注解。上面的参数及其含义和elastic-job原生一模一样，所以阅读不要有障碍。

    //任务名称，cron表达式：每5s执行一次，分片总数，分片参数，是否覆盖zk
@ElasticJobConf(name = "zeng", cron = "0/5 * * * * ?", shardingTotalCount = 2, shardingItemParameters = "", overwrite = true)
public class JobTest implements SimpleJob {
    @Override
    public void execute(ShardingContext shardingContext) {
        System.out.println(shardingContext.toString());
    }
}

  2. 当我启动一台作业服务器时，运行结果如下：我们可以看到以下打印的日志，shardingItem=0、shardingItem=1这两个分片都跑在172.30.60.210这台服务器上面。

    ShardingContext(jobName=zeng, taskId=zeng@-@0,1@-@READY@-@172.30.60.210@-@9920, shardingTotalCount=2, jobParameter=, shardingItem=0, shardingParameter=null)
ShardingContext(jobName=zeng, taskId=zeng@-@0,1@-@READY@-@172.30.60.210@-@9920, shardingTotalCount=2, jobParameter=, shardingItem=1, shardingParameter=null)

  3. 我们看一下zookeeper上的数据（用ZooInspector查看的)。我们可以看到zookeeper上:

    /命名空间/zeng/instances有一个实例，就是172.30.60.210。

    /命名空间/zeng/sharding 下面有1，0两个分片，下面的instance内容都是172.30.60.210@-@9920

    在这里插入图片描述

  4. 我们现在启动另一台服务器。启动成功后引起了重新分片，此时我们上面那台服务器就只跑了一个分片了。

    ShardingContext(jobName=zeng, taskId=zeng@-@1@-@READY@-@172.30.60.210@-@9920, shardingTotalCount=2, jobParameter=, shardingItem=1, shardingParameter=null)

  5. 我们同样看一下zookeeper。

    /命名空间/zeng/instances有两个实例了，一个是172.30.60.210。，一个是172.30.60.84

    /命名空间/zeng/sharding 下面有1，0两个分片；1分片下面的instance内容是172.30.60.210@-@9920，0分片下面的instance内容是172.30.60.84@-@4408

    在这里插入图片描述

2. 模拟宕机

  1. 我们把上面那台172.30.60.84服务器，直接停止。在14:31:35左右停止（172.30.60.84服务器上面最后一条日志是14:31:35）。

  2. 然后我们看到172.30.60.210服务器上面的日志，从14:31:40到14:32:20都是只执行了一个分片，直到下一次才有两个分片。我们观察到宕机这段时间，zookeeper上面的的实例一直没有发生变化，也是一直到14:32:20左右才变成了一个实例。

    [2020-12-11 14:31:40:001] [zeng_QuartzSchedulerThread] [DEBUG] [org.quartz.simpl.PropertySettingJobFactory] [] [] [] [] [] [] - Producing instance of Job 'DEFAULT.zeng', class=com.dangdang.ddframe.job.lite.internal.schedule.LiteJob
[2020-12-11 14:31:40:001] [zeng_Worker-1] [DEBUG] [org.quartz.core.JobRunShell] [] [] [] [] [] [] - Calling execute on job DEFAULT.zeng
ShardingContext(jobName=zeng, taskId=zeng@-@1@-@READY@-@172.30.60.210@-@9920, shardingTotalCount=2, jobParameter=, shardingItem=1, shardingParameter=null)
[2020-12-11 14:31:40:011] [zeng_QuartzSchedulerThread] [DEBUG] [org.quartz.core.QuartzSchedulerThread] [] [] [] [] [] [] - batch acquisition of 1 triggers
[2020-12-11 14:31:45:000] [zeng_QuartzSchedulerThread] [DEBUG] [org.quartz.simpl.PropertySettingJobFactory] [] [] [] [] [] [] - Producing instance of Job 'DEFAULT.zeng', class=com.dangdang.ddframe.job.lite.internal.schedule.LiteJob
[2020-12-11 14:31:45:000] [zeng_Worker-1] [DEBUG] [org.quartz.core.JobRunShell] [] [] [] [] [] [] - Calling execute on job DEFAULT.zeng
ShardingContext(jobName=zeng, taskId=zeng@-@1@-@READY@-@172.30.60.210@-@9920, shardingTotalCount=2, jobParameter=, shardingItem=1, shardingParameter=null)
[2020-12-11 14:31:45:013] [zeng_QuartzSchedulerThread] [DEBUG] [org.quartz.core.QuartzSchedulerThread] [] [] [] [] [] [] - batch acquisition of 1 triggers
[2020-12-11 14:31:50:001] [zeng_QuartzSchedulerThread] [DEBUG] [org.quartz.simpl.PropertySettingJobFactory] [] [] [] [] [] [] - Producing instance of Job 'DEFAULT.zeng', class=com.dangdang.ddframe.job.lite.internal.schedule.LiteJob
[2020-12-11 14:31:50:001] [zeng_Worker-1] [DEBUG] [org.quartz.core.JobRunShell] [] [] [] [] [] [] - Calling execute on job DEFAULT.zeng
ShardingContext(jobName=zeng, taskId=zeng@-@1@-@READY@-@172.30.60.210@-@9920, shardingTotalCount=2, jobParameter=, shardingItem=1, shardingParameter=null)
[2020-12-11 14:31:50:019] [zeng_QuartzSchedulerThread] [DEBUG] [org.quartz.core.QuartzSchedulerThread] [] [] [] [] [] [] - batch acquisition of 1 triggers
[2020-12-11 14:31:55:000] [zeng_QuartzSchedulerThread] [DEBUG] [org.quartz.simpl.PropertySettingJobFactory] [] [] [] [] [] [] - Producing instance of Job 'DEFAULT.zeng', class=com.dangdang.ddframe.job.lite.internal.schedule.LiteJob
[2020-12-11 14:31:55:000] [zeng_Worker-1] [DEBUG] [org.quartz.core.JobRunShell] [] [] [] [] [] [] - Calling execute on job DEFAULT.zeng
ShardingContext(jobName=zeng, taskId=zeng@-@1@-@READY@-@172.30.60.210@-@9920, shardingTotalCount=2, jobParameter=, shardingItem=1, shardingParameter=null)
[2020-12-11 14:31:55:019] [zeng_QuartzSchedulerThread] [DEBUG] [org.quartz.core.QuartzSchedulerThread] [] [] [] [] [] [] - batch acquisition of 1 triggers
[2020-12-11 14:32:00:001] [zeng_QuartzSchedulerThread] [DEBUG] [org.quartz.simpl.PropertySettingJobFactory] [] [] [] [] [] [] - Producing instance of Job 'DEFAULT.zeng', class=com.dangdang.ddframe.job.lite.internal.schedule.LiteJob
[2020-12-11 14:32:00:001] [zeng_Worker-1] [DEBUG] [org.quartz.core.JobRunShell] [] [] [] [] [] [] - Calling execute on job DEFAULT.zeng
ShardingContext(jobName=zeng, taskId=zeng@-@1@-@READY@-@172.30.60.210@-@9920, shardingTotalCount=2, jobParameter=, shardingItem=1, shardingParameter=null)
[2020-12-11 14:32:00:020] [zeng_QuartzSchedulerThread] [DEBUG] [org.quartz.core.QuartzSchedulerThread] [] [] [] [] [] [] - batch acquisition of 1 triggers
[2020-12-11 14:32:05:000] [zeng_QuartzSchedulerThread] [DEBUG] [org.quartz.simpl.PropertySettingJobFactory] [] [] [] [] [] [] - Producing instance of Job 'DEFAULT.zeng', class=com.dangdang.ddframe.job.lite.internal.schedule.LiteJob
[2020-12-11 14:32:05:000] [zeng_Worker-1] [DEBUG] [org.quartz.core.JobRunShell] [] [] [] [] [] [] - Calling execute on job DEFAULT.zeng
ShardingContext(jobName=zeng, taskId=zeng@-@1@-@READY@-@172.30.60.210@-@9920, shardingTotalCount=2, jobParameter=, shardingItem=1, shardingParameter=null)
[2020-12-11 14:32:05:021] [zeng_QuartzSchedulerThread] [DEBUG] [org.quartz.core.QuartzSchedulerThread] [] [] [] [] [] [] - batch acquisition of 1 triggers
[2020-12-11 14:32:10:001] [zeng_QuartzSchedulerThread] [DEBUG] [org.quartz.simpl.PropertySettingJobFactory] [] [] [] [] [] [] - Producing instance of Job 'DEFAULT.zeng', class=com.dangdang.ddframe.job.lite.internal.schedule.LiteJob
[2020-12-11 14:32:10:001] [zeng_Worker-1] [DEBUG] [org.quartz.core.JobRunShell] [] [] [] [] [] [] - Calling execute on job DEFAULT.zeng
ShardingContext(jobName=zeng, taskId=zeng@-@1@-@READY@-@172.30.60.210@-@9920, shardingTotalCount=2, jobParameter=, shardingItem=1, shardingParameter=null)
[2020-12-11 14:32:10:021] [zeng_QuartzSchedulerThread] [DEBUG] [org.quartz.core.QuartzSchedulerThread] [] [] [] [] [] [] - batch acquisition of 1 triggers
[2020-12-11 14:32:15:000] [zeng_QuartzSchedulerThread] [DEBUG] [org.quartz.simpl.PropertySettingJobFactory] [] [] [] [] [] [] - Producing instance of Job 'DEFAULT.zeng', class=com.dangdang.ddframe.job.lite.internal.schedule.LiteJob
[2020-12-11 14:32:15:000] [zeng_Worker-1] [DEBUG] [org.quartz.core.JobRunShell] [] [] [] [] [] [] - Calling execute on job DEFAULT.zeng
ShardingContext(jobName=zeng, taskId=zeng@-@1@-@READY@-@172.30.60.210@-@9920, shardingTotalCount=2, jobParameter=, shardingItem=1, shardingParameter=null)
[2020-12-11 14:32:15:022] [zeng_QuartzSchedulerThread] [DEBUG] [org.quartz.core.QuartzSchedulerThread] [] [] [] [] [] [] - batch acquisition of 1 triggers
[2020-12-11 14:32:20:001] [zeng_QuartzSchedulerThread] [DEBUG] [org.quartz.simpl.PropertySettingJobFactory] [] [] [] [] [] [] - Producing instance of Job 'DEFAULT.zeng', class=com.dangdang.ddframe.job.lite.internal.schedule.LiteJob
[2020-12-11 14:32:20:001] [zeng_Worker-1] [DEBUG] [org.quartz.core.JobRunShell] [] [] [] [] [] [] - Calling execute on job DEFAULT.zeng
[2020-12-11 14:32:20:008] [zeng_Worker-1] [DEBUG] [com.dangdang.ddframe.job.lite.internal.sharding.ShardingService] [] [] [] [] [] [] - Job 'zeng' sharding begin.
[2020-12-11 14:32:20:027] [zeng_Worker-1] [DEBUG] [com.dangdang.ddframe.job.lite.internal.sharding.ShardingService] [] [] [] [] [] [] - Job 'zeng' sharding complete.
ShardingContext(jobName=zeng, taskId=zeng@-@0,1@-@READY@-@172.30.60.210@-@9920, shardingTotalCount=2, jobParameter=, shardingItem=0, shardingParameter=null)
ShardingContext(jobName=zeng, taskId=zeng@-@0,1@-@READY@-@172.30.60.210@-@9920, shardingTotalCount=2, jobParameter=, shardingItem=1, shardingParameter=null)
[2020-12-11 14:32:20:051] [zeng_QuartzSchedulerThread] [DEBUG] [org.quartz.core.QuartzSchedulerThread] [] [] [] [] [] [] - batch acquisition of 1 triggers

3. 分析原因

  1. /命名空间/任务名称/instance目录下的节点是临时节点，实例的注册，离线，宕机都会被zookeeper感知。

  2. zookeeper服务器会清理sessionTimeout过期的实例的所有临时节点和监听器。

  3. elastic-job使用CuratorFrameworkFactory里面默认设置的sessionTimeOut时间60s。

    综合上面几个原因，我们可以知道，如果一台作业服务器宕机，zookeeper最长在60s才能感知到，并清除相应的临时节点。其他作业服务器也是最长在60s的时间能感知到，同时把宕机那台服务器的分片拿过来执行.
    也就是说，如果间隔时间低于60s的任务，当一台作业服务器宕机，该作业服务器上对应的分片任务就会丢失

4. 解决方案

  1. 所以对于间隔时间短的任务，相应的作业服务器应该有自己的兜底方案确保丢失的分片不会影响作业的最终执行。

  2. 当然elastic-job也提供了修改zookeeper，sessionTimeout的配置。

5.失效转移

​ 不是可以失效转移吗？宕机那台服务器错过的分片交给其他正常运行的服务器执行。

​ 没错。但这种适用的场景不是上面那种间隔时间短的周期任务，而是相对间隔时间长的且一次作业耗时长的任务。

​ 如果间隔时间短的周期任务，开启failover=true和monitorExecution=true，可能会产生大量与zookeeper的网络通信，对性能有一定影响。（有时间再仔细介绍一下这种机制）

Java动物园
关注
专栏目录
快速学习-ElasticJob失效转移
逍遥云恋
09-22 562
ElasticJob 不会在本次执行过程中进行重新分片，而是等待下次调度之前才开启重新分片流程。 当作业执行过程中服务器宕机，失效转移允许将该次未完成的任务在另一作业节点上补偿执行。 失效转移需要与监听作业运行时状态同时开启才可生效。 概念 失效转移是当前执行作业的临时补偿执行机制，再下次作业运行时，会通过重分片对当前作业分配进行调整。 举例说明，若作业以每小时为间隔执行，每次执行耗时 30 分钟。如下如图所示。 图中表示作业分别于 12:00，13:00 和 14:00 执行。图中显示的当前时间点为 1
elasticjob任务失效转移异常
yangfang的博客
03-16 2327
elasticjob
elastic-job 定时任务 —— 失效转移、任务错过机制与幂等机制
最新发布
longool的博客
07-17 1308
若 overwrite=true，重启或者启动新的任务服务，相关配置会传到 zookeeper 注册中心中并覆盖掉之前的配置，会以最后一次启动上传的配置为准，所以以后任务执行时，都会从 zookeeper 中得到最新的配置执行。虽然失效转移能够重新执行分配给宕机的任务，但并不能完全保证业务的幂等性，还是建议在作业中实现幂等性，以确保数据的正确处理。第一次触发任务执行5分钟，第一次触发的任务还没有执行完就触发了第二次任务，此时第二次不会叠加执行，会先记录，等第一次任务执行完后接着再执行第二次触发的任务。
elastic-job分布式定时器实践
qq_36804701的博客
06-12 2370
项目的定时任务比较多。主管想要做成分布式定时器。说起来，我们要用springcloud+docker做分布式集群服务，又要做分布式分片数据库，用spring-session和redis做分布式缓存，rocketmq做消息中间件，几乎所有环节都做成分布式系统了。虽然我不觉得这个项目有这么大的业务需求，但是反正我是学到很多东西了。我们的主管挺奇怪的，他说他都没用过这些东西，但是他十分乐于用这些新东西，...
分布式定时任务——elastic-job
weixin_34365417的博客
06-05 179
　　一、背景　　在我们的项目当中，使用定时任务是避免不了的，我们在部署定时任务时，通常只部署一台机器。当部署多台机器时，同一个任务会执行多次。比如下面这个场景，“短信提醒”，每天定时的给用户下发短信，每个用户只会收到一条短信。如果部署了多台服务，每个服务都会执行这个短信提醒任务，那么每个用户就会收到多条短信，这明显是不可以的;如果只部署一台机器，那么定时任务的高可用是无法满足的，如果这个唯一的服务...
GitHub上持续冲榜，ElasticJob重启
ShardingSphere官微
07-09 895
你会误认为 ElasticJob 只是作业管控平台么？创始人为你解读产品定位与新版本设计理念。——写于 ElasticJob 3.x 版本发布前夕调度（Scheduling）在计算机领域...
ElasticJob 中文文档.pdf
10-24
ElasticJob 是一个分布式任务调度框架，它由当当网开源，目的是解决在分布式系统环境下定时任务的管理问题。ElasticJob 提供了分布式环境下任务的分片与高可用特性，支持任务的快速弹性扩展。它将任务分片到多个...
springboot整合 ElasticJob框架，定制化管理流程
06-25
、ElasticJob简介 1、定时任务 ...失效转移 错过执行作业重触发 作业分片一致性，保证同一分片在分布式环境中仅一个执行实例 补刀：人家官网这样描述的，这里赘述一下，充实一下文章。 基础框架结构
ElasticJob与SpringBatch的结合使用
06-19
### ElasticJob与SpringBatch的结合使用 #### 一、引言 随着大数据和微服务架构的兴起，数据处理的需求越来越复杂。在很多场景下，我们需要处理海量数据，并且要保证数据处理的一致性和顺序性。为此，业界发展出了...
分布式任务调度框架elastic-job-lite
05-18
- **容错性**：提供简单故障转移和失效恢复机制，确保任务的高可用性。 - **可扩展性**：支持动态添加或移除作业服务器，任务会自动在可用的服务器上进行负载均衡。 - **细粒度控制**：可精确到秒级别，支持定时...
ElasticJob 使用场景
zahary
04-26 1655
ElasticJob 当当网使用的任务调度框架，支持并行调度，支持分布式调度协调，支持弹性扩容，是一种分布式调度解决方案
springboot集成elastic job
enthan809882的博客
01-12 861
pom.xml添加依赖 <dependency> <groupId>com.cxytiandi</groupId> <artifactId>elastic-job-spring-boot-starter</artifactId> <version>1.0.0</version> </dependency> <dependency> <groupId>org.apache.curat
ElasticJob定时任务学习总结
weixin_47969982的博客
04-11 446
如： 如果有3台服务器，分成9片，则每台服务器分到的分片是：1=[0,1,2], 2=[3,4,5], 3=[6,7,8] 如果有3台服务器，分成8片，则每台服务器分到的分片是：1=[0,1,6], 2=[2,3,7], 3=[4,5] 如果有3台服务器，分成10片，则每台服务器分到的分片是：1=[0,1,2,9], 2=[3,4,5], 3=[6,7,8]将分片项设置为大于服务器的数量，最好是大于服务器倍数的数量，作业将会合理的利用分布式资源，动态的分配 分片项。安装并启动Zookeeper。
分布式调度Elastic-Job实战解析
nandao158的博客
08-01 605
分布式调度Elastic-Job实战解析
定时任务的写法
一寸一寸光阴
03-09 772
@Scheduled注解=====》spring框架提供的 class类放在SpringBoot的启动类下的所在的包或者启动类所在的包的子包下 /** * 定时任务扫描组件 */ @Configuration @EnableScheduling public class BookingPhoneStatusJob { public static final Logger logger = LoggerFactory.getLogger(BookingPhoneStatusJob.class
Elastic-Job之任务分片及失效分片集合转移
m0_37343985的博客
03-16 1228
当定时任务需要执行的时候，在AbstractElasticJobExecutor的execute方法中会通过jobFacade的getShardingContexts()方法来获取当前服务器的分片信息 public ShardingContexts getShardingContexts() { //检查时候开启失效转移 boolean isFailover = configS...
Elastic-Job-Spring-Boot-Starter简化你的任务配置
u010889990的专栏
04-19 7442
elastic-job-spring-boot-starter介绍 Elastic-Job Spring Boot 自动集成，只需要一个注解即可发布Job。 GitHub地址：https://github.com/yinjihuan/elastic-job-spring-boot-starter Elastic-Job官方提供了基于Spring和Java代码2种方式的任务配置，刚开始用Ela...
Elastic-job使用2.1.5
这个名字想了很久
04-02 2127
Elastic-Job是一个分布式调度解决方案，由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。关于Elastic-Job-Lite官网文档写的已经非常详细了：这里有一个对数据数据,进行分片处理的demo ：点此下载。maven依赖&lt;dep...
Elastic-Job
凝渊的博客
06-21 543
一、主要功能 定时任务：基于成熟的定时任务作业框架Quartz cron表达式执行定时任务。 作业注册中心：基于Zookeeper和其客户端Curator实现的全局作业注册控制中心。用于注册，控制和协调分布式作业执行。 作业分片：将一个任务分片成为多个小任务项在多服务器上同时执行。 弹性扩容缩容：运行中的作业服务器崩溃，或新增加n台作业服务器，作业框架将在下次作业执行前重新分片，不影响当前作业执...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值