异常处理-k8s-ETCD异常

最新推荐文章于 2024-07-04 15:17:57 发布
最新推荐文章于 2024-07-04 15:17:57 发布
阅读量715 收藏
点赞数
分类专栏： 异常处理 文章标签： kubernetes etcd 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48360967/article/details/130519929
版权
通过分析kubelet和kube-apiserver的日志，发现6443端口的APIServer与2379端口的Etcd服务连接问题。进一步检查Etcd日志，确认是由于snap文件丢失或损坏导致。解决方案包括使用备份恢复或删除错误文件后重启Etcd和kubelet，但后者可能导致kubelet状态丢失。
摘要由CSDN通过智能技术生成

现象

image.png

排查

  1. master查看kubelet日志

journalctl -u kubelet -f
image.png
发现6443端口（api-server）不通

  1. master查看kube-apiserver日志

journalctl -u kube-apiserver -f
image.png
发现2379端口（etcd）连接被拒绝

  1. 查看etcd日志

journalctl -u etcd -f
image.png
发现是snap文件不存在导致，可能是文件损坏也可能是丢失了

解决

用备份的文件覆盖即可(/var/lib/etcd/*）；若是没有备份文件，就删除错误文件（rm -rf /vat/lib/etcd/*），重启etcd（systemctl restart etcd）、kubelet（systemctl restart kubelet），但kubelet所有状态就遗失了

惰立
关注
专栏目录
线上 leaderelection lost 导致 Kubernetes 组件异常退出的问题排查
weixin_45578634的博客
02-14 753
记录了一次线上 controller-manager、kube-scheduler 频繁异常重启，报错 leaderelection lost 的问题排查
【k8s实战】kubernetes错误排查之etcd篇
Friendsofthewind的博客
09-25 647
通过本节的学习，您将获得处理k8s集群问题的通用方法，针对etcd方面问题具体，如何快速排查处理。知识充电：什么是etcd？它是一个简单的数据库，k8s默认使用它存储集群的配置信息。为什么不选择mysql等其他更好的数据库服务？因为etcd有四大特点：简单：安装配置简单，而且提供了HTTP API进行交互，使用也很简单安全：支持SSL证书验证快速：根据官方提供的benchmark数据，单实例支持每秒2k+读操作可靠：采用raft算法，实现分布式系统数据的可用性和一致性。
[k8s生产系列]：k8s集群故障恢复，etcd数据不一致，kubernetes集群异常
最新发布
stange1的博客
07-04 1663
kubernetes集群中担任的角色：etcd是kubernetes集群数据存储后端，用于存储所有集群数据，l例如：集群状态、配置信息、服务发现信息等。数据存储：所有集群数据，例如：pod状态、节点信息、service信息都被存储于etcd中。一致性保证：etcd通过Raft协议保证数据强一致性和高可用性。kubernetes集群中担任角色：kube-apiserver是kubernetes的API服务端点，提供整个系统的API入口。
故障排查：k8s集群中的Etcd启动失败（Failed to bring up Etcd Plane）
农民工老王的博客
10-24 7432
本文记录了k8s集群的一次故障和其解决办法。
k8s 集群中的etcd故障解决
weixin_30475039的博客
03-26 3412
一次在k8s集群中创建实例发现etcd集群状态出现连接失败状况，导致创建实例失败。于是排查了一下原因。 问题来源 下面是etcd集群健康状态： [root@docker01 ~]# cd /opt/kubernetes/ssl/ [root@docker01 ssl]# /opt/kubernetes/bin/etcdctl \ > --ca-file=ca.pem --cer...
深度复盘-重启 etcd 引发的异常
吉小白的博客
02-09 809
etcd、Kubernetes 和内核的复杂问题定位及相关方法论，帮助大家更好的了解和使用好 TKE
4-k8s部署之Node节点1
08-08
在Kubernetes（k8s）集群的构建过程中，Node节点是不可或缺的一部分，它们承载了Pods，即实际运行应用的工作负载。本篇文章将详细介绍如何将一个Node子节点加入到已经存在的k8s集群中，以及如何进行状态检查和管理。...
k8s外接etcd集群服务异常，使用snapshot恢复etcd集群
wenbo885的博客
12-31 1172
2：etcd的数据计划存储在/var/lib/etcd/目录下，所以删除etcd集群中每个节点/var/lib/etcd/目录下的数据，确保/var/lib/etcd/是空目录，或者/var/lib/etcd/是新创建的目录。生产环境中我们为了避免出现误操作或者是服务器硬件出见异常导致宕机，我们的虚拟机或者k8s集群崩溃，所以我们都会创建多节点的高可用集群，包括k8s集群使用外接etcd集群，但有时也可能出现数据丢失，所以经常要备份数据。4：查看服务状态，以及etcd服务是否启动，集群是否正常。
k8s-source-code-analysis-k8s source code
03-25
K8s的核心组件包括API Server、etcd、Controller Manager、Scheduler和kubelet等。API Server作为中心数据存储和操作的入口，负责处理所有对Kubernetes对象的增删改查请求。etcd作为分布式键值存储，保存了集群的...
Kubernetes --k8s集群部署、Pod管理、资源编写
ly660402的博客
02-22 950
开始部署k8s集群 清理内存 用此命令扩容 部署多个节点 生命周期 ...
etcd-json-logs:原始 etcd 日志输入。JSON 日志记录输出
06-19
etcd-json-日志 原始 etcd 日志行输入。JSON 日志记录输出。 npm -g install etcd-json-logs cat /var/log/etcd.log | etcd-json-logs 使用记录 JSON 记录。 执照 。
容灾恢复 | 记一次K8S集群中etcd数据快照的备份恢复实践
WeiyiGeek 唯一极客IT知识分享
03-09 528
在 Kubernetes 集群中所有操作的资源数据都是存储在 etcd 数据库上, 所以防止集群节点瘫痪未正常工作或在集群迁移时，以及在出现异常的情况下能尽快的恢复集群数据，则我们需要定期针对etcd集群数据进行相应的容灾操作。
etcd记录
edycm的博客
05-09 3987
etcd记录文档
Kubernetes Etcd不可用日志:NOSPACE 的问题修复
专注基础架构领域
10-23 1114
两套k8s集群同一天同时出现etcd集群空间超过配额，时发现所有的均返回503报错，查看etcd的告警发现有的信息且 中的DB SIZE大于2GiB。 版本信息kubernetes版本：v1.17.0etcd版本：3.3.10，运行方式为docker容器 1、将API版本调整为3 2、声明变量ETCD_ENDPOINT 如果不清楚etcd证书存放的位置可以使用命令查看，当然endpoint也可以用这种方法 3、备份etc
ETCD集群的常见问题处理
热门推荐
360技术
07-08 1万+
奇技指南ETCD是一个高可用的分布式Key/Value存储系统。它使用Raft算法，通过选举来保持集群内各节点状态的一致性。虽然ETCD具有高可用的特点，但是也无法避免多...
Etcd介绍
zyy247796143的博客
06-10 1489
Etcd 是 CoreOS 基于 Raft 开发的分布式 key-value 存储，可用于服务发现、共享配置以及一致性保障（如数据库选主、分布式锁等）。安全性是用于保证每个节点都执行相同序列的安全机制，如当某个 Follower 在当前 Leader commit Log 时变得不可用了，稍后可能该 Follower 又会被选举为 Leader，这时新 Leader 可能会用新的 Log 覆盖先前已 committed 的 Log，这就是导致节点执行不同序列；Safety 就是用于保证选举出来的 Leade
《Kubernetes故障篇：Kubernetes集群master节点断电后etcd数据库崩溃》
东城绝神
05-06 3203
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例
k8s集群部署时etcd容器不停重启问题以及处理详解
a630192144的博客
09-18 937
在安装部署版本时，通过kubeadm初始化集群后，发现执行kubectl查看kubelet状态是否正常，发现无法连接apiserver的6443端口。进而查看apiserver容器的状态，由于是基于containerd作为容器运行时，此时kubectl不可用的情况下，使用命令可以查看所有容器的情况。发现此时容器已经退出，查看容器日志是否有异常信息。通过日志信息发现是无法连接etcd的2379端口，那么问题应该是出在etcd了。此时etcd容器也在不断地重启，查看其日志发现没有错误级别的信息。
k8s 1.13.0二进制部署教程：ETCD集群及高可用架构详解
- 高可用Kubernetes集群通过多副本etcd实例、故障转移机制以及服务发现技术来应对机器宕机和服务本身的异常，同时关注网络问题对服务的影响。 总结来说，本文档详细解释了如何在Kubernetes 1.13.0环境中部署并管理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值