番外篇 etcd服务无法启动的修复方法

已于 2024-06-27 14:00:35 修改
阅读量1.1w 收藏 12
点赞数 4
分类专栏： kubernetes 遇到的错误 文章标签： k8s etcd linux centos
于 2021-01-18 18:00:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42883074/article/details/112789206
版权

今天有一个环境的master节点的挂载掉线了，恢复之后该节点的etcd就起不来了。

猜测应该是和其他etcd节点数据不同步导致的，下面我们模拟一下

 案例

#查看集群组件状态
[root@k8s-master01 ~]# kubectl get cs
NAME                 STATUS    MESSAGE             ERROR
scheduler            Healthy   ok                  
controller-manager   Healthy   ok                  
etcd-0               Healthy   {"health":"true"}   
etcd-1               Healthy   {"health":"true"}   
etcd-2               Healthy   {"health":"true"}

我们登陆节点（192.168.1.20），删除etcd的数据目录模仿故障

#根据配置得知我们的数据目录位置
#[Member]
ETCD_NAME="etcd-1"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"     #数据目录
ETCD_LISTEN_PEER_URLS="https://192.168.1.20:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.1.20:2379"

#切换目录
cd /var/lib/etcd/default.etcd

#清除数据（或者备份）
rm -rf *

#重启服务，查看状态
systemctl restart etcd
systemctl status etcd

 

解决方法

如果是跟着我之前的部署的那么你可能没有把etcdctl命令放在全局，需要多一步操作

#这个命令之前没有放进去，这里添加以下
cp /opt/etcd/bin/etcdctl  /usr/bin/

查看etcd集群状态

#找一台存活的etcd节点去访问
etcdctl \
--cacert=/opt/etcd/ssl/ca.pem  \
--cert=/opt/etcd/ssl/server.pem \
--key=/opt/etcd/ssl/server-key.pem \
--endpoints='https://192.168.1.21:2379'  \
member list 


#参数说明
--cacert=/opt/etcd/ssl/ca.pem  \
--cert=/opt/etcd/ssl/server.pem \
--key=/opt/etcd/ssl/server-key.pem \    #以上证书+私钥
--endpoints='https://192.168.1.21:2379'    #指定一台存活的etcd服务

返回

22cb69b2fd1bb417, started, etcd-2, https://192.168.1.21:2380, https://192.168.1.21:2379, false
3c3bd4fd7d7e553e, started, etcd-3, https://192.168.1.22:2380, https://192.168.1.22:2379, false
5a224bcd35cc7d02, started, etcd-1, https://192.168.1.20:2380, https://192.168.1.20:2379, false

将无法启动服务的节点踢出

etcdctl \
--cacert=/opt/etcd/ssl/ca.pem  \
--cert=/opt/etcd/ssl/server.pem \
--key=/opt/etcd/ssl/server-key.pem \
--endpoints='https://192.168.1.21:2379'  \
member remove 5a224bcd35cc7d02

#删除自己对应节点上的id

#查看已经被踢出

etcdctl \
--cacert=/opt/etcd/ssl/ca.pem  \
--cert=/opt/etcd/ssl/server.pem \
--key=/opt/etcd/ssl/server-key.pem \
--endpoints='https://192.168.1.21:2379'  member list  


#返回
22cb69b2fd1bb417, started, etcd-2, https://192.168.1.21:2380, https://192.168.1.21:2379, false
3c3bd4fd7d7e553e, started, etcd-3, https://192.168.1.22:2380, https://192.168.1.22:2379, false

#可以看到只有2条了

重新添加该节点

etcdctl \
--cacert=/opt/etcd/ssl/ca.pem  \
--cert=/opt/etcd/ssl/server.pem \
--key=/opt/etcd/ssl/server-key.pem \
--endpoints='https://192.168.1.21:2379' \
member add etcd-1 --peer-urls=https://192.168.1.20:2380


#这里add后面是etcd节点的名称,必须和配置文件中的名称相同
#因为是重新加入节点,ip不变,所以证书不需要重新生成

返回

ETCD_NAME="etcd-1"
ETCD_INITIAL_CLUSTER="etcd-2=https://192.168.1.21:2380,etcd-3=https://192.168.1.22:2380,etcd-1=https://192.168.1.20:2380"
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.1.20:2380"
ETCD_INITIAL_CLUSTER_STATE="existing"

#查看状态

etcdctl \
--cacert=/opt/etcd/ssl/ca.pem  \
--cert=/opt/etcd/ssl/server.pem \
--key=/opt/etcd/ssl/server-key.pem \
--endpoints='https://192.168.1.22:2379' member list

#返回
22cb69b2fd1bb417, started, etcd-2, https://192.168.1.21:2380, https://192.168.1.21:2379, false
3c3bd4fd7d7e553e, started, etcd-3, https://192.168.1.22:2380, https://192.168.1.22:2379, false
841bd1ec499f60a2, unstarted, , https://192.168.1.20:2380, , false

#这里还没有启动服务,没有准备好

重启etcd （无法启动etcd的节点）

vim /opt/etcd/cfg/etcd.conf
#查看
#[Member]
ETCD_NAME="etcd-1"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.1.20:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.1.20:2379"

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.1.20:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.1.20:2379"
ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.1.20:2380,etcd-2=https://192.168.1.21:2380,etcd-3=https://192.168.1.22:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"         #修改这里 为existing

启动服务

 systemctl restart etcd

查看集群状态

etcdctl \
--cacert=/opt/etcd/ssl/ca.pem  \
--cert=/opt/etcd/ssl/server.pem \
--key=/opt/etcd/ssl/server-key.pem \
--endpoints='https://192.168.1.22:2379' member list

#返回
22cb69b2fd1bb417, started, etcd-2, https://192.168.1.21:2380, https://192.168.1.21:2379, false
3c3bd4fd7d7e553e, started, etcd-3, https://192.168.1.22:2380, https://192.168.1.22:2379, false
841bd1ec499f60a2, started, etcd-1, https://192.168.1.20:2380, https://192.168.1.20:2379, false



#查看组件状态
[root@k8s-master01 cfg]# kubectl get cs
NAME                 STATUS    MESSAGE             ERROR
scheduler            Healthy   ok                  
controller-manager   Healthy   ok                  
etcd-0               Healthy   {"health":"true"}   
etcd-1               Healthy   {"health":"true"}   
etcd-2               Healthy   {"health":"true"}

备注

我遇到一个测试环境案例，有个集群的etcd状态不对，属于两台正常，1台503，但是看服务都是Running的，master三个组件周期性在重启，修复方法：  先将3台etcd全停止服务，登录在master上kubectl get cs   中显示正常的两台主机 ，手动启动etcd服务后去master上kubectl get cs   他会花个5-10中自动恢复状态，等两个主机都显示正常后，再手动启动第三台的etcd服务，具体不知道啥原理，但是确实环境修好了

默子昂
关注
专栏目录
使用rancher创建 Kubernetes 集群，ETCD 无法启动
m0_47645669的博客
04-26 1208
报错：[etcd] Failed to bring up Etcd Plane: etcd cluster is unhealthy: hosts [10.0.2.15] failed to report healthy. Check etcd container logs on each host for more information。创建主机时，应该都会注意时间同步问题，大多数人遇到的应该时残留数据没有清理干净的情况。进入主机，创建shell脚本。# 清理Iptables表。# 禁止服务开机启动。
数学之美番外篇：平凡而又神奇的贝叶斯方法
01-30
——题记这是一篇关于贝叶斯方法的科普文，我会尽量少用公式，多用平白的语言叙述，多举实际例子。更严格的公式和计算我会在相应的地方注明参考资料。贝叶斯方法被证明是非常 general且强大的推理框架，文中你会看到...
Etcd的运行时重配置
zyy247796143的博客
06-10 1940
etcd 被设计为能承受机器失败。etcd 集群自动从临时失败(例如，机器重启)中恢复，而且对于一个有 N 个成员的集群能容许 (N-1)/2 的持续失败。当一个成员持续失败时，不管是因为硬件失败或者磁盘损坏，它丢失到集群的访问。如果集群持续丢失超过 (N-1)/2 的成员，则它只能悲惨的失败，无可救药的失去法定人数(quorum)。一旦法定人数丢失，集群无法达到一致而因此无法继续接收更新。etcd 自带对渐进的运行时重配置的支持，这容许用户在运行时更新集群成员。重配置请求仅能在集群成员的大多数正常工作时可
Kubernetes中如何对etcd进行备份和还原
最新发布
分享关于Java编程、数据库管理和信息安全方面的最佳实践
08-25 498
在Kubernetes集群中，etcd 是一个分布式键值存储系统，用于保存集群的所有数据。如果etcd数据丢失，整个集群可能会出现严重的问题。因此，定期备份etcd数据是至关重要的。同时，了解如何恢复etcd数据也很关键。
etcd节点故障无法启动
Dream_lei的博客
08-09 2303
实验环境突然有个etcd节点出问题了,研究了一下，以下是我的处理过程。
etcd 启动失败
qdqht2009的专栏
02-26 1万+
1、etcd 读取已有的 data-dir 数据而启动失败，常常表现为cluster id not match什么的 可能原因是新启动的 etcd 属性与之前的不同，可以尝 --force-new-cluster 选项的形式启动一个新的集群 2、etcd 集群搭建完成后，通过 kubectl get pods 等一些操作发生错误的情况 目前解决办法是重启一下 apiserver 进程 3、...
用Terraform启动coreos，ETCD启动不起来
qq_15156403的博客
09-28 257
修改initfile，更新systemd的unit， Bootstrap etcd cluster with --initial-cluster-state new for each node. Update systemd unit file with --initial-cluster-state existing. Reload systemd daemon. 启动成功，etcd都有这...
etcd不能通过service启动的解决方案
snowing
08-13 2459
arm架构中etcd无法通过service启动的问题解决
spring源码系列（五）——番外篇回答网友的问题
12-21
当标记在一个字段或方法上时，Spring会尝试找到与该字段类型相同的bean，并将其注入。对于 `ApplicationContext` 类型，Spring会特别处理，因为 `ApplicationContext` 实现了 `ApplicationContextAware` 接口，所以...
数学之美番外篇.doc
01-19
"数学之美番外篇" 贝叶斯方法是概率论中的一种重要方法，能够解决逆概问题，计算后验概率，并进行模型比较和选择。贝叶斯方法的核心思想是通过观察数据更新对模型参数的概率分布，以便在不确定性下进行推理和决策。...
excel VBA编程番外篇（字典+正则表达式+FSO）
06-08
1.让windows脚本技术中的字典对象结合excel VBA，功能将更大的强大。 2.Microsoft Excel VBA与正则表达式技术的结合应用，将使VBA的数据处理功能更加强大 3.在Scripting 类型库 (Scrrun.Dll）中，在VBA中对FSO对象下...
kubernetes-Docker二进制故障 etcd启动不了排错
Hcucg的博客
08-18 2800
Job for etcd.service failed because the control process exited with error code. See "systemctl status etcd.service" and "journalctl -xe" for details.
etcd启动错误处理方法
weixin_43084715的博客
07-13 3847
7月 13 20:29:01 node3 systemd[1]: etcd.service: Failed with result 'exit-code'.7月 13 20:29:02 node3 systemd[1]: etcd.service: Failed with result 'exit-code'.7月 13 20:29:03 node3 systemd[1]: etcd.service: Failed with result 'exit-code'.发现错误依然存在，在其他节点上查看。
etcd启动不起来
热门推荐
Fyf_010316的博客
01-16 1万+
修改好配置文件，启动systemctl start etcd，得到下面的错误信息 Job for etcd.service failed because the control process exited with error code. See “systemctl status etcd.service” and “journalctl -xe” for details. 看看日志 jo...
k8s 环境搭建，etcd启动失败
weixin_34072637的博客
05-30 1934
最近在搭建k8s +docker环境，技术比较热门，但是版本升级也比较快，有兴趣的可以参考jimmysong （宋净超）的社区，https://jimmysong.io/kubernetes-handbook/ etcd 启动后报错：5月 29 10:49:56 master-16 etcd[32130]: listening for client requests on 0.0.0.0:2379...
解决：Failed to start Etcd Server.
阿蔡的博客
10-27 1万+
etcd启动不了，报： Job for etcd.service failed because the control process exited with error code. See “systemctl status etcd.service” and “journalctl -xe” for details [root@master1 opt]# systemctl start etcd Job for etcd.service failed because the control proces
k8s无法正常启动使用，排查：etcd损坏
weixin_53667818的博客
05-06 4082
The connection to the server 192.168.18.101:6443 was refused - did you specify the right host or port?
etcd异常中断主机重启后服务无法启动
hclhcl12的博客
08-17 2055
主机掉电，etcd服务异常中断，利用之前备份好的快照进行恢复操作 需要用到的命令和功能： 1、linux修改环境变量永久生效用到的配置文件： . bash_profile，所在目录：root目录下 2、etcd用到备份快照的命令 * ETCDCTL_API=3 etcdctl --endpoints=:1159 snapshot save etcdsnapa.db//备份快照，也可以结合上下直接做一个定时任务∗ETCDCTLAPI=3etcdctl−−write−out=table−−endpoints
搭建k8s时，etcd无法正常开启
weixin_48191039的博客
12-05 4487
问题1.：在构建etcd集群的时候，node节点上的etcd就是起不来 [root@localhost ~]# journalctl -xe 可以看到提示信息：member c2c5804bd87e2884 has already been bootstrapped，意思就是：成员c2c5804bd87e2884已经启动，就来我就查询了下资料，说是其中一个成员是通过discovery service引导的。必须删除以前的数据目录来清理成员信息。否则成员将忽略新配置，使用旧配置。这就是为什么你看到了不匹配。
C++之番外篇爱心代码
06-16
``` <!DOCTYPE html> <html> <head> <title></title> </head> <style> * { padding: 0; margin: 0; } html, body { height: 100%; padding: 0; margin: 0; background: #000; } canvas { position: absolute; width: 100%; height: 100%; } .aa { position: fixed; left: 50%; bottom: 10px; color: #ccc; } </style> <body> <canvas id="pinkboard"></canvas> <script> /* * Settings */ var settings = { particles: { length: 500, // maximum amount of particles duration: 2, // particle duration in sec velocity: 100, // particle velocity in pixels/sec effect: -0.75, // play with this for a nice effect size: 30 // particle size in pixels } }; /* * RequestAnimationFrame polyfill by Erik M?ller */ (function () { var b = 0; var c = ["ms", "moz", "webkit", "o"]; for (var a = 0; a < c.length && !window.requestAnimationFrame; ++a) { window.requestAnimationFrame = window[c[a] + "RequestAnimationFrame"]; window.cancelAnimationFrame = window[c[a] + "CancelAnimationFrame"] || window[c[a] + "CancelRequestAnimationFrame"]; } if (!window.requestAnimationFrame) { window.requestAnimationFrame = function (h, e) { var d = new Date().getTime(); var f = Math.max(0, 16 - (d - b)); var g = window.setTimeout(function () { h(d + f); }, f); b = d + f; return g; }; } if (!window.cancelAnimationFrame) { window.cancelAnimationFrame = function (d) { clearTimeout(d); }; } })(); /* * Point class */ var Point = (function () { function Point(x, y) { this.x = typeof x !== "undefined" ? x : 0; this.y = typeof y !== "undefined" ? y : 0; } Point.prototype.clone = function () { return new Point(this.x, this.y); }; Point.prototype.length = function (length) { if (typeof length == "undefined") return Math.sqrt(this.x * this.x + this.y * this.y); this.normalize(); this.x *= length; this.y *= length; return this; }; Point.prototype.normalize = function () { var length = this.length(); this.x /= length; this.y /= length; return this; }; return Point; })(); /* * Particle class */ var Particle = (function () { function Particle() { this.position = new Point(); this.velocity = new Point(); this.acceleration = new Point(); this.age = 0; } Particle.prototype.initialize = function (x, y, dx, dy) { this.position.x = x; this.position.y = y; this.velocity.x = dx; this.velocity.y = dy; this.acceleration.x = dx * settings.particles.effect; this.acceleration.y = dy * settings.particles.effect; this.age = 0; }; Particle.prototype.update = function (deltaTime) { this.position.x += this.velocity.x * deltaTime; this.position.y += this.velocity.y * deltaTime; this.velocity.x += this.acceleration.x * deltaTime; this.velocity.y += this.acceleration.y * deltaTime; this.age += deltaTime; }; Particle.prototype.draw = function (context, image) { function ease(t) { return --t * t * t + 1; } var size = image.width * ease(this.age / settings.particles.duration); context.globalAlpha = 1 - this.age / settings.particles.duration; context.drawImage( image, this.position.x - size / 2, this.position.y - size / 2, size, size ); }; return Particle; })(); /* * ParticlePool class */ var ParticlePool = (function () { var particles, firstActive = 0, firstFree = 0, duration = settings.particles.duration; function ParticlePool(length) { // create and populate particle pool particles = new Array(length); for (var i = 0; i < particles.length; i++) particles[i] = new Particle(); } ParticlePool.prototype.add = function (x, y, dx, dy) { particles[firstFree].initialize(x, y, dx, dy); // handle circular queue firstFree++; if (firstFree == particles.length) firstFree = 0; if (firstActive == firstFree) firstActive++; if (firstActive == particles.length) firstActive = 0; }; ParticlePool.prototype.update = function (deltaTime) { var i; // update active particles if (firstActive < firstFree) { for (i = firstActive; i < firstFree; i++) particles[i].update(deltaTime); } if (firstFree < firstActive) { for (i = firstActive; i < particles.length; i++) particles[i].update(deltaTime); for (i = 0; i < firstFree; i++) particles[i].update(deltaTime); } // remove inactive particles while ( particles[firstActive].age >= duration && firstActive != firstFree ) { firstActive++; if (firstActive == particles.length) firstActive = 0; } }; ParticlePool.prototype.draw = function (context, image) { // draw active particles if (firstActive < firstFree) { for (i = firstActive; i < firstFree; i++) particles[i].draw(context, image); } if (firstFree < firstActive) { for (i = firstActive; i < particles.length; i++) particles[i].draw(context, image); for (i = 0; i < firstFree; i++) particles[i].draw(context, image); } }; return ParticlePool; })(); /* * Putting it all together */ (function (canvas) { var context = canvas.getContext("2d"), particles = new ParticlePool(settings.particles.length), particleRate = settings.particles.length / settings.particles.duration, // particles/sec time; // get point on heart with -PI <= t <= PI function pointOnHeart(t) { return new Point( 160 * Math.pow(Math.sin(t), 3), 130 * Math.cos(t) - 50 * Math.cos(2 * t) - 20 * Math.cos(3 * t) - 10 * Math.cos(4 * t) + 25 ); } // creating the particle image using a dummy canvas var image = (function () { var canvas = document.createElement("canvas"), context = canvas.getContext("2d"); canvas.width = settings.particles.size; canvas.height = settings.particles.size; // helper function to create the path function to(t) { var point = pointOnHeart(t); point.x = settings.particles.size / 2 + (point.x * settings.particles.size) / 350; point.y = settings.particles.size / 2 - (point.y * settings.particles.size) / 350; return point; } // create the path context.beginPath(); var t = -Math.PI; var point = to(t); context.moveTo(point.x, point.y); while (t < Math.PI) { t += 0.01; // baby steps! point = to(t); context.lineTo(point.x, point.y); } context.closePath(); // create the fill context.fillStyle = "#ea80b0"; context.fill(); // create the image var image = new Image(); image.src = canvas.toDataURL(); return image; })(); // render that thing! function render() { // next animation frame requestAnimationFrame(render); // update time var newTime = new Date().getTime() / 1000, deltaTime = newTime - (time || newTime); time = newTime; // clear canvas context.clearRect(0, 0, canvas.width, canvas.height); // create new particles var amount = particleRate * deltaTime; for (var i = 0; i < amount; i++) { var pos = pointOnHeart(Math.PI - 2 * Math.PI * Math.random()); var dir = pos.clone().length(settings.particles.velocity); particles.add( canvas.width / 2 + pos.x, canvas.height / 2 - pos.y, dir.x, -dir.y ); } // update and draw particles particles.update(deltaTime); particles.draw(context, image); } // handle (re-)sizing of the canvas function onResize() { canvas.width = canvas.clientWidth; canvas.height = canvas.clientHeight; } window.onresize = onResize; // delay rendering bootstrap setTimeout(function () { onResize(); render(); }, 10); })(document.getElementById("pinkboard")); </script> </body> </html> ``` ![示例图片](https://devbit-static.oss-cn-beijing.aliyuncs.com/devbit-static/img/heart.png)
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值