卸载 rancher 导致 node 被清空

最新推荐文章于 2023-04-21 19:02:45 发布
最新推荐文章于 2023-04-21 19:02:45 发布
阅读量299 收藏
点赞数
分类专栏： k8s 问题集锦 文章标签： rancher kubernetes
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/CrazyLoser000/article/details/128887504
版权

问题描述

集群的节点突然全都不见了 (kubectl get node 为空)，导致集群瘫痪，但实际上节点对应的宿主机都还在。因为集群没开审计，所以也不太好查 node 是被什么删除的。

快速恢复

由于当时没有排查出来问题，当时批量重启了服务器，自动拉起 kubelet 重新注册 node，故障恢复。其实只是 k8s node 资源被删除，重启 kubelet 服务，自动注册即可。

根因分析（5 why）

从 kube-apiserver 日志中可以看到，DELETE node 的操作，导致 node 被清空

哪里调用的 删除接口？

node 被清空前，查看 history，发现有卸载 rancher 的操作，很可疑，调查发现，rancher 自定义crd nodes.management.cattle.io，有操控 node 的嫌疑，而这个crd 只在 local namespace 发现资源，所以判断是卸载 rancher 的脚步中，有直接删除 local的操作

教训

操作类似的 k8s web 管理平台，尤其删删除卸载时，务必小心，没有把握不要操作，网上的脚步慎用，最好用官方提供的卸载方式，恰巧当时 rancher 官方的卸载方式好久没有维护了，说多了都是泪。。。

参考链接：

  • [误删 rancher 的 namespace 导致 node 被清空](
SRE运维进阶之路
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
卸载helm安装的Rancher
qq_45360317的博客
10-28 380
我在准正式环境中使用helm安装了rancher到k8s集群中，导致我的k8s集群中多了一堆名称空间和rancher相关的资源，很不整洁，为了将rancher区分开来，我只能卸载，但涉及到众多资源，所以查看了官方的卸载方式。
rancher 卸载及清理
我是小bā吖的博客
03-08 1123
rancher卸载
卸载rancher出现的问题
砚墨
06-26 1014
卸载rancher出现如下报错 检查apiservice，并将对应的异常apiservice删除 serviceaccount 无法创建secrct 存在准入控制器导致，删除准入控制器
Rancher 2.x集群销毁及卸载清理
李孟的博客
12-05 2023
Rancher 自建k8s集群，集群异常，整体删除步骤。 使用docker方式安装的Rancher 2.x集群在执行完后，会在宿主机上生成一些文件。删除镜像时，在执行docker rm rancher时，不会删除生成的文件，会导致重装rancher集群不成功。 卸载K8s components和secrets 清理残留文件和文件夹 重启服务器 centos7示例
node-rancher-api
05-17
Node-Rancher-API Rancher API的节点客户端 客户 此包中包含一个API客户端 const Rancher = require ( 'rancher-node' ) ; const rancher = new Rancher ( { url : '...
保姆级搭建rancher教程
09-06
看着手册能自己搭建出来，保姆级教程，我自己一步一步写的，看完还不会的只能说你不适合运维，咱换行吧。你可以尝试去搞搞开发，开发写写代码就行。
rancher搭建和使用
03-14
1、rancher搭建 2、rancher自带的monitor部署 3、longhorn搭建和泗洪 2、应用部署使用，pv使用
Windows Rancher Desktop 1.6.2
11-26
适用于windows平台的Rancher Desktop安装包Rancher Desktop is an open-source project that brings Kubernetes and container management to the desktop. It runs on Windows, macOS and Linux. This README ...
Rancher：我不使用Rancher
02-14
Rancher1.6.14CentOS的7 vagrant upvagrant ssh rancher （选项） # vagrant box add generic/centos7 --provider "virtualbox" --insecure# vagrant plugin uninstall vagrant-vbguestDocker 17.12.0-CE sudo yum ...
Rancher RKE K8s 集群 etcd 恢复
小单的博客专栏
02-15 1139
因为是基于 Rancher RKE 的集群，所以在这个问题的情况下可以直接通过其默认备份的快照文件进行 etcd 恢复，如果没有做特别配置，etcd 和集群的快照备份文件在。5、最后启动 etcd 容器，查看日志就发现已经正常了，第二个机器同理操作，如果三个 master 都坏了，只要快照文件在，分别操作后启动容器也是没问题的。这个备份文件中包含两个东西：一个是 etcd 的快照 db 文件，一个是该 k8s 集群的集群配置内容，里面包含 kubeconfig、证书等内容。是下载的 etcdctl 文件，
rancher安装及卸载
LXYuuuuu的博客
12-01 5729
虚拟机搭建 最少需要搭建三台机器进行集群设置 官网：https://docs.rancher.cn/rancher2x/#_1-what-s-rancher？ 三台机器 同步更新时间 ssh免密登录 selinux --》 disabled 防火墙关闭，禁止开机自启 修改时区为亚洲/上海 ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 修改系统语言环境 sudo echo 'LANG="en_US.UTF-8"' >> /e
温柔一刀，优雅且彻底地卸载Rancher HA
Rancher
07-08 1036
前言 Rancher 从 v2.5 开始，支持将 Rancher HA 安装在任何经过 CNCF 认证的标准 K8s 发行版上，这个集群可以使用上游 Kubernetes，也可以使用 Rancher 的 Kubernetes 发行版之一，也可以是来自 Amazon EKS 等提供商的托管 Kubernetes 集群。无论安装到哪种集群上，Rancher 都推荐使用一个独立的 K8S/K3S 集群作为 Rancher HA 的 Local 集群，这样 Rancher HA 不会和业务集群相互影响。 如果在独立
rancher坏了或删除，继续使用k8s集群
码农崛起
01-20 6626
前提 1.首先保障rancher管理k8s集群的config文件还在，可以查看~/.kube/config 进行验证 [root@localhost ~]# kubectl config get-contexts CURRENT NAME CLUSTER AUTHINFO NAMESPACE * jettech jettech jettech .
卸载k8s
changlina_1989的博客
10-12 351
执行以下命令： kubeadm reset -f rm -rf ~/.kube/ rm -rf /etc/kubernetes/ rm -rf /etc/systemd/system/kubelet.service.d rm -rf /etc/systemd/system/kubelet.service rm -rf /usr/bin/kube* rm -rf /etc/cni rm -rf /opt/cni rm -rf /var/lib/etcd rm -rf /var/etcd rm -rf /run
Rancher入门到精通-Longhorn卸载 直接rancherUI中无法清理需要手动清理
隔壁老瓦的专栏
07-07 1546
https://longhorn.io/docs/1.0.0/deploy/uninstall/ 在本节中，您将学习如何卸载Longhorn。 先决条件 从Rancher UI卸载Longhorn 使用Helm卸载Longhorn 使用kubectl卸载Longhorn 故障排除 先决条件 为了防止损坏Kubernetes集群，我们建议使用Longhorn卷（PersistentVolume，PersistentVolumeClaim，StorageClass，Deployment，State
Kubernetes系列-删除deployment和pod
sre救赎之路
04-21 2051
通过deployment创建的pod直接执行delete是不会正常被删除的，因为deployment中设置了pod的数量，deployment会动态维护pod的数量，倘若pod数量少于约定数量，deployment会创建pod，直到pod数量达到约定数量才会停止。此文只介绍第二种方式：删除deployment和pod。2）删除deployment。1）获取deployment。
Kubernetes集群上安装Rancher
BY_xiaopeng的博客
10-19 853
kubernetes ranche helm
rancher helm无法卸载
最新发布
07-28
回答: 如果你在卸载Rancher Helm时遇到问题，可能是由于一些错误或残留文件导致的。你可以尝试以下步骤来解决这个问题。 首先，你可以尝试清理相关目录。使用以下命令删除一些目录: ``` rm -rf /etc/ceph /etc/cni /etc/kubernetes /opt/cni /opt/rke /run/secrets/kubernetes.io /run/calico /run/flannel /var/lib/calico /var/lib/etcd /var/lib/cni /var/lib/kubelet /var/lib/rancher/rke/log /var/log/containers /var/log/pods /var/run/calico ``` 如果你有手动映射的Rancher目录，请确保将其全部删除。\[2\] 接下来，你可以尝试卸载所有挂载。使用以下命令: ``` for mount in $(mount | grep tmpfs | grep '/var/lib/kubelet' | awk '{ print $3 }') /var/lib/kubelet /var/lib/rancher; do umount $mount; done ``` 这将卸载所有与Rancher相关的挂载。\[3\] 如果以上步骤仍然无法解决问题，你可以尝试重新安装Rancher Helm，然后再尝试卸载。确保按照正确的步骤进行操作，并检查是否有任何错误消息。 希望这些步骤能够帮助你成功卸载Rancher Helm。如果问题仍然存在，请提供更多详细信息，以便我们能够更好地帮助你解决问题。 #### 引用[.reference_title] - *1* [卸载rancher出现的问题](https://blog.csdn.net/weixin_45423952/article/details/125470892)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [rancher安装及卸载](https://blog.csdn.net/LXYuuuuu/article/details/110431348)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值