一次基于etcd的分布式锁自动延时失败问题的排查

最新推荐文章于 2023-03-07 21:20:17 发布
最新推荐文章于 2023-03-07 21:20:17 发布
阅读量234 收藏
点赞数
原文链接：http://www.cnblogs.com/you-you-111/p/6044012.html
版权

今天在测试基于etcd的分布式锁过程中，在测试获取锁后，释放之前超出TTL时长的情况下自动延长TTL这部分功能，在延长指定key的TTL时总是返回404错误信息，在对目标KEY更新TTL时目标KEY已不存在。

 

最终问题排查为ETCD集群3个节点之间的系统时间不一致，因为TTL延长是在KEY创建后单独一个监听线程中进行，在TTL过半之后会更新TTL，因此可能出现更新TTL之前，由于集群中时间超前的节点将目标KEY删除，导致更新TTL时找不到目标KEY的错误。

 

同步集群所有节点系统时间后问题排除：

ntpdate pool.ntp.org

 

转载于:https://www.cnblogs.com/you-you-111/p/6044012.html

dinghui2004
关注
架构师必知必会系列：分布式系统与微服务架构
AI天才研究院
09-28 861
作者：禅与计算机程序设计艺术 1.简介 微服务架构作为当下最热门的架构模式之一，越来越受到开发者和公司的青睐。如何设计、构建和维护一个高可靠、易扩展、弹性伸缩的微服务架构是一个值得深入研究的话题。为了帮助大家快速理解和掌握微服务架构，下面将以分布式系统为基础，结合实际案例进行阐述。 本文共
第一次凡尔赛，字节跳动3面+腾讯6面一次过，谈谈我的大厂面经
Waiting_now的博客
07-29 266
写在开头的闲言碎语 2020年过去了，对很多人来说，这一年经历了太多太多，可能是十年来记忆里比较浓墨重彩的一笔。过去的一年里，“熬”算是这个阶段我的关键字，确实太多时候就要放弃，好在自己“熬”过去了，在新的2021年里，也有个一个非常好的开端，我收获了心仪的offer。 简单来说，就如标题一样，我今天也想要凡尔赛一次，原来大厂的面试也没有想象中的那么难，字节跳动3面+腾讯6面，就这么一次性过了，下面就细细聊聊我的大厂面经吧，希望能够给金三银四要面试的朋友提供一些经验。 PART1：字节跳动3轮
etcd 笔记（08）— 基于 etcd 实现分布式锁
wohu1104的专栏
05-10 841
1. 为什么需要分布式锁？ 在分布式环境下，数据一致性问题一直是个难点。分布式与单机环境最大的不同在于它不是多线程而是多进程。由于多线程可以共享堆内存，因此可以简单地采取内存作为标记存储位置。而多进程可能都不在同一台物理机上，就需要将标记存储在一个所有进程都能看到的地方。 例如秒杀场景就是一个常见的多进程场景。订单服务部署了多个服务实例，如秒杀商品有 4 个，第一个用户购买 3 个，第二个用户购买 2 个，理想状态下第一个用户能购买成功，第二个用户提示购买失败，反之亦可。而实际可能出现的情况是，两个用户都得
【错误解决】etcdkeeper错误：404 page not found
weixin_42072280的博客
11-11 2469
文章目录错误信息：404 page not found错误原因修改方法 错误信息：404 page not found etcdkeeper的状态信息是active 但是却访问不到 错误原因 因为自己的参数设置及文件放置位置不正确导致的 自己etcdkeeper的配置中，启动位置在/usr/local/bin/etcdkeeper 而这个地方只有一个etcdkeeper的二进制文件。 但是正常下载下来的文件夹里面是这么些文件，要把assets和etcdkeeper的二进制文件放到一个地方，最后访
etcd api常用操作
weixin_30475039的博客
09-29 1799
如果需要使用v2 version api，启动etcd时候需要加入“ETCD_ENABLE_V2=true”参数，否则会报错“404 page not found” 获取etcd版本信息 # curl -L http://172.16.101.55:2379/version {"etcdserver":"3.4.1","etcdcluster":"3.4.0"} 获取et...
延时队列如何实现？ETCD vs Redis
csdnYF的博客
05-05 1136
前言 日常开发中，我们经常会碰到有延时任务的场景，譬如30分钟后关闭订单、在指定时间上架某个活动等，如果是最简单的场景，不考虑服务水平扩容、服务宕机等因素，可能内部用github.com/robfig/cron加MYSQL存储延时信息即可。当然，一般线上服务，不可能不考虑道这些因素的影响，所以才有很多任务调度框架，比如：Quartz、xxl-job、Temporal等。但这次这里想讨论的是中间情况，也就是，既想保证服务能水平扩容、服务宕机任务不丢失，又不想使用那些调度框架（毕竟有部署成本和学习成本）。 延时
分布式消息队列kafka了解及选举方式讲解一（差延迟性队列）
谢白羽
10-14 595
文章目录1.kafka简单介绍2.分布式队列的优点3.分布式消息典型应用4.kafka体系结构5.kafka基础概念1）主题：2）存储：3）zookeeper在kafka中的作用：6.补充各种选举的方式7.kafka生产消费模式：1）点对点2）订阅发布模式8.kafka读写流程及效率一些问题总结1.分区信息存储在哪里？2.生产到哪个分区？3.怎么确保写流程消息一定能够到达？4.读流程从哪里开始消费？4.1 从哪里开始消费？（需要知道具体分区消费到哪个位置）4.2 消费者组如何消费？（消费者组与partiti
分布式系统问题及解决方案
qqxhb 资源共享
03-12 2324
1. 分布式系统简介 1.1 分布式系统背景 单一应用架构：当网站流量下的时候，所有功能都集成在一个应用，也只需要部署一个应用，这样可以减少部署节点和成本。 垂直应用架构：当网站流量较大的时候，靠新增机器数量提升效率达不到要求，便会将系统垂直拆分为几个不相干的应用。 分布式系统架构：当垂直应用越拆越多的时候，各应用之间无可避免的需要交互，这时候可以考虑拆分出一些核心业务作为单独服务部署，逐渐形成稳...
java 面试备战---分布式那点事
程序员爱酸奶
03-05 1519
分布式一致性：CAP理论 集中式应用进行服务化拆分后，必然会出现一个问题：如何保证各个节点（Node）之间的数据一致性？ 比如以下场景： 用户首先发起一次更新操作，映射到节点A；然后，用户又做了一次查询操作，操作映射到了节点B，此时A和B的数据如果不一致，对用户来说就会造成困扰。 分布式系统为了提高可用性，必然会引入冗余机制（副本），而冗余便带来了上面描述的一致性问题。为了解决这类问题，加州大学伯克利分校的Eric Brewer) 教授提出了 CAP 猜想。2年后， Seth Gilbert 和 Nancy
大厂面试真的很难吗？字节跳动3面+腾讯6面一次过，谈谈我的大厂面经
Java4396的博客
02-11 3157
写在开头的闲言碎语 2021年春节接近尾声，对很多人来说，这一年经历了太多太多，可能是十年来记忆里比较浓墨重彩的一笔。过去的一年里，“熬”算是这个阶段我的关键字，确实太多时候就要放弃，好在自己“熬”过去了，在新的2022年里，也有个一个非常好的开端，我收获了心仪的offer。 简单来说，我今天也想要凡尔赛一次，原来大厂的面试也没有想象中的那么难，字节跳动3面+腾讯6面，就这么一次性过了，下面就细细聊聊我的大厂面经吧，希望能够给要面试的朋友提供一些经验。 PART1：字节跳动3轮面试场景重现
etcd-v3.3.8-linux
10-31
etcd-v3.3.8-linux etcd是一个开源的、分布式的键值对数据存储系统，提供共享配置、服务的注册和发现。etcd与zookeeper相比算是轻量级系统，两者的一致性协议也一样，etcd的raft比zookeeper的paxos简单
etcd 启动错误
weixin_30295091的博客
04-26 5467
Apr 26 16:17:25 ceph-0 etcd: f281dc69fb4dd3d8 became candidate at term 3574Apr 26 16:17:25 ceph-0 etcd: f281dc69fb4dd3d8 received MsgVoteResp from f281dc69fb4dd3d8 at term 3574Apr 26 16:17:25 ceph-0...
断网无忧：ETCD客户端自动重连技术揭秘
最新发布
跳小闹成长记
03-07 1054
之前在设计开发自动限流计数集群系统时，使用了ETCD来实现服务协调和集群选举。去年公司在做断网演练期间发现，ETCD客户端在和服务端断开连接之后，没有办法自动重新连接服务，恢复业务。具体表现如下图，机器心跳正常，但在ETCD上注册的服务离线。于是需要设计实现ETCD客户端与ETCD服务端的自动重连功能。确保在任何网络闪断或者网络临时中断的情况下，ETCD客户端能够在一定时间内自动注册到ETCD服务端，恢复服务。本文将和大家分享如何通过代理模式和观察者模式优雅的实现该自动重连方案。
ETCD实现及原理分析
bobi的博客
04-29 3691
etcd的优点： 高可用性：保存各个服务的部署，运行信息，若他出现故障可导致集群无法变更，业务瘫痪 数据一致性：集群之间没有单点故障，多节点之间保障数据一致性 低容量：通过内存树仅存储key版本数据，value数据存储在内存 增删改查功能：还可以监听数据变化 运维的可维护性：提供API变更节点，降低运维成本 从高可用、数据一致性、增删改查功能角度，zookeeper也是满足需求的，但是zookeeper不支持通过API变更，运维成本比较高，其次zookeeper是java编写，部署繁琐，zookeer使
etcd踩坑记录
qq_22222663的博客
03-06 1294
etcd踩坑记录问题：获取etcd锁时一直阻塞运行结果：原因：​ 出现这种问题的原因和etcd的分布式锁的实现原理有关，简单来说：etcd的锁实现原理就是 所有的客户端都在pfx(这里就是/pfx/v1)下创建一个自己的key，createrevision最小的那个客户端获得锁，也就是最早建立key的客户端获得锁，之后按照创建的时间先后依次获得锁。 ​ 由于我们最开始在pfx下建立的一个
etcd 使用入门
WHACKW的专栏
09-29 4760
1. etcd 简介 coreos 开发的分布式服务系统，内部采用 raft 协议作为一致性算法。作为服务发现系统，有以下的特点： 简单：安装配置简单，而且提供了 HTTP API 进行交互，使用也很简单安全：支持 SSL 证书验证快速：根据 官方提供的 benchmark 数据 ，单实例支持每秒 2k+ 读操作可靠：采用 raft 算法 ，实现分布式系统数据的可用性和一致性
etcd常见问题汇总
yinn
05-23 5568
1、使用etcd clientV3 写入，etcdctl读取不到问题 使用github.com\coreos\etcd\clientv3\example_kv_test.go func ExampleKV_put() { cli, err := clientv3.New(clientv3.Config{ Endpoints: endpoints, DialTime...
Kubernetes Etcd踩过的坑
Dannyvon的博客
08-29 2100
/etc/keepalived/keepalived.conf 上写错IP，导致Etcd启动报错。 改回正确IP和rm -rf /var/lib/etcd/*，重启Keepalived后，Etcd仍然报同样错误 尝试重新安装Etcd，省事直接vim etcd.service 结果无法获取变量导致配置文件出问题，Etcd启动再次报错。   贴上etcd脚本 echo " [Unit]...
Docker部署Etcd分布式：步骤与配置详解
此外，文档还提到了启动etcd服务时的命令行选项，如端口映射、数据卷挂载和自定义名称等，这些都是构建分布式Etcd集群的关键步骤。 总结来说，本文主要介绍了基于Docker的Etcd分布式部署过程，包括环境准备、基础...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值