node节点kubelet报错 node \“xxxxx“ not found

最新推荐文章于 2025-04-17 10:39:25 发布
最新推荐文章于 2025-04-17 10:39:25 发布
阅读量2.4w 收藏 7
点赞数 3
文章标签： k8s
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huotongwangbs/article/details/121159429
版权 
11月 05 10:58:35 localhost.localdomain kubelet[974]: E1105 10:58:35.108952     974 kubelet.go:2412] "Error getting node" err="node \"localhost.localdomain\" not found"
11月 05 10:58:35 localhost.localdomain kubelet[974]: E1105 10:58:35.209293     974 kubelet.go:2412] "Error getting node" err="node \"localhost.localdomain\" not found"
11月 05 10:58:35 localhost.localdomain kubelet[974]: E1105 10:58:35.310543     974 kubelet.go:2412] "Error getting node" err="node \"localhost.localdomain\" not found"
11月 05 10:58:35 localhost.localdomain kubelet[974]: E1105 10:58:35.411121     974 kubelet.go:2412] "Error getting node" err="node \"localhost.localdomain\" not found"
11月 05 10:58:35 localhost.localdomain kubelet[974]: E1105 10:58:35.511949     974 kubelet.go:2412] "Error getting node" err="node \"localhost.localdomain\" not found"
11月 05 10:58:35 localhost.localdomain kubelet[974]: E1105 10:58:35.612822     974 kubelet.go:2412] "Error getting node" err="node \"localhost.localdomain\" not found"
11月 05 10:58:35 localhost.localdomain kubelet[974]: E1105 10:58:35.713249     974 kubelet.go:2412] "Error getting node" err="node \"localhost.localdomain\" not found"
11月 05 10:58:35 localhost.localdomain kubelet[974]: E1105 10:58:35.781263     974 controller.go:144] failed to ensure lease exists, will retry in 7s, error: leases.coordination.k8s.io "localhost.localdomain" is forbidden: User "system:node:k8s222" cannot get resource "leases" in API group "coordination.k8s.io" in the namespace "kube-node-lease": can only access node lease with the same name as the requesting node
11月 05 10:58:35 localhost.localdomain kubelet[974]: E1105 10:58:35.813355     974 kubelet.go:2412] "Error getting node" err="node \"localhost.localdomain\" not found"
11月 05 10:58:35 localhost.localdomain kubelet[974]: E1105 10:58:35.913495     974 kubelet.go:2412] "Error getting node" err="node \"localhost.localdomain\" not found"

1.1 该节点一直NotReady

[root@crust-m01 ~]# kubectl get node
NAME        STATUS     ROLES                  AGE   VERSION
k8s220   NotReady   control-plane,master   44d   v1.21.3
k8s221   NotReady   <none>                 44d   v1.21.3
k8s222   NotReady   <none>                 44d   v1.21.3

1.2 查看该节点详细信息

[root@localhost ~]# kubectl describe node k8s221

……
Unschedulable:      false
Lease:
  HolderIdentity:  k8s221
  AcquireTime:     <unset>
  RenewTime:       Tue, 28 Sep 2021 14:37:08 +0800
Conditions:
  Type             Status    LastHeartbeatTime                 LastTransitionTime                Reason              Message
  ----             ------    -----------------                 ------------------                ------              -------
  MemoryPressure   Unknown   Tue, 28 Sep 2021 14:32:16 +0800   Tue, 28 Sep 2021 14:38:17 +0800   NodeStatusUnknown   Kubelet stopped posting node status.
  DiskPressure     Unknown   Tue, 28 Sep 2021 14:32:16 +0800   Tue, 28 Sep 2021 14:38:17 +0800   NodeStatusUnknown   Kubelet stopped posting node status.
  PIDPressure      Unknown   Tue, 28 Sep 2021 14:32:16 +0800   Tue, 28 Sep 2021 14:38:17 +0800   NodeStatusUnknown   Kubelet stopped posting node status.
  Ready            Unknown   Tue, 28 Sep 2021 14:32:16 +0800   Tue, 28 Sep 2021 14:38:17 +0800   NodeStatusUnknown   Kubelet stopped posting node status.
……

 1.3 该节点上查看kubelet日志

[root@crust-m2 ~]# service kubelet status -l
Redirecting to /bin/systemctl status  -l kubelet.service
● kubelet.service - kubelet: The Kubernetes Node Agent
   Loaded: loaded (/usr/lib/systemd/system/kubelet.service; enabled; vendor preset: disabled)
  Drop-In: /usr/lib/systemd/system/kubelet.service.d
           └─10-kubeadm.conf
   Active: active (running) since 二 2021-09-28 14:51:57 CST; 4min 6s ago
     Docs: https://kubernetes.io/docs/
 Main PID: 21165 (kubelet)
    Tasks: 19
   Memory: 43.0M
   CGroup: /system.slice/kubelet.service
           └─21165 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --network-plugin=cni --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.4.1

9月 28 14:56:03 crust-m2 kubelet[21165]: E0928 14:56:03.119645   21165 kubelet.go:2291] "Error getting node" err="node \"crust-m2\" not found"
9月 28 14:56:03 crust-m2 kubelet[21165]: E0928 14:56:03.220694   21165 kubelet.go:2291] "Error getting node" err="node \"crust-m2\" not found"
9月 28 14:56:03 crust-m2 kubelet[21165]: E0928 14:56:03.321635   21165 kubelet.go:2291] "Error getting node" err="node \"crust-m2\" not found"
9月 28 14:56:03 crust-m2 kubelet[21165]: E0928 14:56:03.385100   21165 eviction_manager.go:255] "Eviction manager: failed to get summary stats" err="failed to get node info: node \"crust-m2\" not found"
9月 28 14:56:03 crust-m2 kubelet[21165]: E0928 14:56:03.422387   21165 kubelet.go:2291] "Error getting node" err="node \"crust-m2\" not found"
9月 28 14:56:03 crust-m2 kubelet[21165]: E0928 14:56:03.523341   21165 kubelet.go:2291] "Error getting node" err="node \"crust-m2\" not found"
9月 28 14:56:03 crust-m2 kubelet[21165]: E0928 14:56:03.624021   21165 kubelet.go:2291] "Error getting node" err="node \"crust-m2\" not found"
9月 28 14:56:03 crust-m2 kubelet[21165]: E0928 14:56:03.724418   21165 kubelet.go:2291] "Error getting node" err="node \"crust-m2\" not found"
9月 28 14:56:03 crust-m2 kubelet[21165]: E0928 14:56:03.825475   21165 kubelet.go:2291] "Error getting node" err="node \"crust-m2\" not found"
9月 28 14:56:03 crust-m2 kubelet[21165]: E0928 14:56:03.926199   21165 kubelet.go:2291] "Error getting node" err="node \"crust-m2\" not found"

2. 【排错】

  • 1.3中日志输出的启动命令如下
/usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --network-plugin=cni --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.4.1

 

查看并分析启动命令中所有配置文件都没有问题

  • 发现1.3 中输出的错误err="node \"localhost.localdomain\" not found
    而master上 kubectl get node 的信息 三个node是 k8s220，k8s221，k8s222
  • 结论
    之前安装kubernetes的时候，master的名字是 k8s220，node是k8s221，k8s222，因为 /etc/hostname 中默认写成了 localhost.localdomain，因此kubelet一直报错

3. 【修改】

  • 修改hostname文件，并执行hostname命令修改服务器名称
  • 重启kubelete
达方
关注
k8s node节点重新加入集群失败问题解决
江晓龙的博客
01-02 7991
kubeadm 安装的 k8s 集群 delete node 后重新添加回集群问题解决 1.问题描述 k8smaster节点坏掉，重新部署完k8s-master节点后node节点无法加入集群 报错如下 [root@k8s-node2 ~]# kubeadm join apiserver.demo:6443 --token ou7vjm.oceacziy0m2z69ak --discovery-token-ca-cert-hash sha256:3c05e8f1d775a126e78a7643d134
K8s（四）：集群初始化报错“Error getting node“ err=“node \“k8s-master\“ not found“
热门推荐
✨ 欢迎来到【Seal ^_^ 的CSDN博客】！✨
04-01 3万+
🔴 K8s（四）：集群初始化报错“Error getting node“ err=“node \“k8s-master\“ not found“
亲测踩坑，node节点kubelet报错 node \“xxxxx“ not found
qq_29078779的博客
08-01 5079
亲测踩坑，node节点kubelet报错 node \“xxxxx“ not found
kubelet Error getting node 问题求助
ppppppushcar的博客
05-06 1万+
问题现象 master节点采用kubectl 发现资源不存在 [root@k8s-master01 cni]# kubectl get nodes No resources found [root@k8s-master01 cni]# kubectl get node No resources found 寻找原因 发现kubelet的状态虽然是成功，但是报错E0506 03:15:55.794029 4646 kubelet.go:2461] "Error getting node" err="n
centos7安装高版本node，解决version `GLIBC_2.27‘ not found问题
CheerTan is here
03-12 1425
如果需要用nvm管理，把下载的node文件复制到下面目录里，即可管理。解压后需要修改里面的npm文件，具体node放置的位置。
kubelet日志报错node not found处理
逗小豆zz的博客
05-05 1万+
之前正常运行的环境，突然反馈Kubernetes集群不可用，无法执行kubectl命令。 查看kubelet服务状态，看到日志中提示node "master1" not found。 [root@master1 var]# systemctl status kubelet ● kubelet.service - kubelet: The Kubernetes Node Agent Loaded: loaded (/usr/lib/systemd/system/kubelet.service; enab
k8s重启后报错Error getting node not found
uestczshen的专栏
06-25 1263
升级之前最好把一些能停的应用停掉。或者能够通过增加临时节点来进行扩容，不然所有pod调度到其他节点，可能把其他节点压垮。没办法，只能把其他两台直接升级配置，然后重启。重启之后三台中有两台Not Ready。今天升级一台3主的k8s集群的配置。升级其中一台后另外两个节点就出现Not Ready的状态。但是不知道为什么在控制台重启后主机名为什么会变，总之把我搞紧张了。
k8s报错的解决办法： kubelet的日志出现 Error getting node的报错。
风一样的少年
10-29 7769
k8s报错的解决办法： kubelet的日志出现 Error getting node的报错。
node节点kubelet报错 node “xxxxx“ not found
m0_60721514的博客
02-28 4940
11月 05 10:58:35 localhost.localdomain kubelet[974]: E1105 10:58:35.108952 974 kubelet.go:2412] "Error getting node" err="node "localhost.localdomain" not found" 11月 05 10:58:35 localhost.localdomain kubelet[974]: E1105 10:58:35.209293 974 kubelet.g
k3s原理分析丨如何搞定k3s node注册失败问题
k3s中文社区
03-05 3793
文为实战场景中的真实故障排场案例，分享了k3s产品中关于node注册失败的排查记录。首先将分析k3s中相关组件的基本原理，然后详细分析问题出现的原因，最后给出解决方案。 如果你目前尚未遇到这个问题，也不妨一看文章中的原理部分，条分缕析地介绍了agent的注册过程，可以有效帮助你解决同类问题~~
kubenetes(k8s)自动化安装部署（自动化、二进制）
weixin_45145160的博客
10-21 1398
安装教程： http://www.rhce.cc/2182.html https://blog.csdn.net/wo18237095579/article/details/86630750 https://www.cnblogs.com/zhongle21/p/12220789.html#_lab2_0_2 一、所有节点 1、在所有节点上修改hostname hostnamectl set-hostname master hostnamectl set-hostname node 2、在所有节点上修改ip
安装kubelet报错的解决方法
06-03
[root@xxx yum.repos.d]# yum install -y kubelet kubeadm kubectl Loaded plugins: fastestmirror Loading mirror speeds from cached hostfile kubernetes | 1.4 kB 00:00:00 No package kubelet available. No package kubeadm available. No package kubectl available. Error: Nothing to do
my cloud test bed (by quqi99)
技术并艺术着
03-10 1912
若容器里如果上不了网，如无法访问api.snapcraft.io，是因为lxd容易默认使用了eth1上的dns=10.10.10.1，下面的配置可让eth0, eth1, eth2都默认使用dns=192.168.99.1来避免特色网络对api.snapcraft.io的污染。下列netplan配置创建了br-eth0，也让br-eth0支持wol通过魔术包唤醒，也创建了一个没有dhcp的br-maas用于maas实验。
kubenetes master ip地址变了 Error getting node“ err=“node \“master\“ not found
sinat_40292249的博客
11-28 2万+
1. cd /etc/kubernetes/manifests， 将etcd.yaml kube-apiserver.yaml里的ip地址替换为新的ip # oldIP之前IP地址 # newIP 新的IP地址 sed -i 's/oldIP/newIP/g' /etc/kubernetes/manifests/etcd.yaml sed -i 's/oldIP/newIP/g' /etc/kubernetes/manifests/kube-apiserver.yaml 2 cd $HOME/.kube/
k8s报错kubelet.go:2461] “Error getting node“ err=“node \“k8s-master\“ not found“
最新发布
qq_57150526的博客
04-17 547
查看kubelet status报找不到master节点。检查kubelet状态。
Error getting node“ err=“node \“master\“ not found的处理
weixin_37068671的博客
07-01 1683
报错Error getting node“ err=“node \“master\“ not found故障背景： 电脑不小心按倒了关机按钮，导致虚拟机直接被杀死关机了， 重启虚拟机后，master节点的IP没有正常起来，又重新启动了下服务器后，发现无法kubectl get nodes 出node信息了处理前相关的文件、...
centos7安装k8s 1.24.3版本 Error getting node“ err=“node “master01“ not found
weixin_41539438的博客
08-12 8923
centos7安装k8s 1.24.3版本 Error getting node" err="node \"master01\" not found
k8s中，kubelet 出现问题， k8s-master node not found.
with123456的博客
08-21 8685
在systemctl restart 后 出现 k8s-master node not found，尽管 kubelet依旧是active状态。删除/etc/kubernetes/manifests目录下的.yaml所有文件。发现warning，在/etc/kubernetes/manifests目录。通过journalctl -xe kubelet查看，依旧是如下错误。重新systemctl restart kubelet。排查 hostname、etc/hosts等均正常。错误发生在这儿卡住。
[root@dai23 examples]# kubectl logs -n rook-ceph rook-ceph-osd-prepare-dai25-9pxp8 025-03-12 01:15:33.260168 W | inventory: uuid not found for device /dev/sdb. output=Creating new GPT entries in memory. Disk /dev/sdb: 83886080 sectors, 40.0 GiB Model: VMware Virtual S Sector size (logical/physical): 512/512 bytes Disk identifier (GUID): 4754F882-F0A5-401C-8D25-C23ADA95B6C5 Partition table holds up to 128 entries Main partition table begins at sector 2 and ends at sector 33 First usable sector is 34, last usable sector is 83886046 Partitions will be aligned on 2048-sector boundaries Total free space is 83886013 sectors (40.0 GiB) Number Start (sector) End (sector) Size Code Name 2025-03-12 01:15:33.260287 I | cephosd: setting device type "hdd" for device "/dev/sdb" 2025-03-12 01:15:33.260314 I | cephosd: setting device class "hdd" for device "/dev/sdb" 2025-03-12 01:15:33.260384 I | cephosd: 1 ceph-volume raw osd devices configured on this node 2025-03-12 01:15:33.260430 I | cephosd: devices = [{ID:0 Cluster:ceph UUID:6a9f8512-fdce-4583-ac9e-e23f01e44fd1 DevicePartUUID: DeviceClass:hdd BlockPath:/dev/sdb MetadataPath: WalPath: SkipLVRelease:true Location:root=default host=dai25 LVBackedPV:false CVMode:raw Store:bluestore TopologyAffinity: Encrypted:false ExportService:false NodeName: PVCName: DeviceType:hdd}] [root@dai23 examples]# kubectl get CephCluster -n rook-ceph NAME DATADIRHOSTPATH MONCOUNT AGE PHASE MESSAGE HEALTH EXTERNAL FSID rook-ceph /var/lib/rook 2 63m Ready Cluster created successfully HEALTH_WARN 77b65090-25cf-4ff6-a840-c0419041c0e4
03-13
<think>好的，我现在需要帮助用户解决关于Rook Ceph中查看OSD准备日志和解析集群状态的问题。用户提供了几个引用，我需要结合这些信息来给出正确的步骤和解释。 首先，用户提到使用kubectl logs来查看OSD准备日志。根据引用[2]，当OSD Pod无法启动时，应该查询osd prepare日志。命令示例是kubectl -n rook-ceph logs rook-ceph-osd-prepare-nodeX-XXXXX provision。这里需要注意的是，用户需要替换节点名称和Pod后缀。所以正确的步骤应该是先获取具体的Pod名称，再执行logs命令。可能用户不知道如何获取Pod名称，需要指导他们使用kubectl get pod来列出所有相关的Pod，然后用grep过滤出osd-prepare的Pod。 然后，关于kubectl get CephCluster的输出解析。引用[2]和[4]中提到使用kubectl get CephCluster -o yaml来查看详细状态。状态中的phase字段是关键，可能的状态包括Progressing、Ready、Error等。此外，需要检查status部分中的cephStatus和conditions，这些会显示健康状态和错误信息。用户可能需要了解这些字段的含义，比如如果health显示HEALTH_ERR，就需要进一步检查。 用户的问题可能涉及到如何诊断OSD准备失败的原因，比如存储设备配置错误、权限问题或资源不足。例如，在引用[4]中，OSD Prepare Job没有完成，可能是因为节点上的存储设备未正确配置。因此，在查看日志时，需要特别关注错误信息，比如无法找到磁盘、权限问题或镜像拉取失败等。 另外，用户可能还需要知道如何重启operator或重新部署集群。引用[2]提到可以通过kubectl rollout restart deploy rook-ceph-operator来重启operator，这可能帮助解决某些部署问题。但需要提醒用户谨慎操作，尤其是在生产环境中。 最后，需要确保用户正确使用命名空间rook-ceph，因为所有相关资源都位于这个命名空间下。如果用户忘记指定-n rook-ceph，命令会执行失败，所以要在每个命令中强调命名空间参数。 总结回答结构应该是：先解释如何查看OSD准备日志的步骤，然后解析CephCluster的状态输出，最后给出常见问题及解决方法。需要确保命令示例准确，并引用提供的参考文献中的信息，比如引用[2]和[4]中的命令和注意事项。</think>### 查看Rook Ceph OSD准备日志及集群状态解析 #### 1. 查看OSD准备日志 **操作步骤**： 1. 首先获取OSD Prepare Pod的名称（Pod名称包含节点名和随机后缀）： ```bash kubectl -n rook-ceph get pods | grep osd-prepare ``` 输出示例： ``` rook-ceph-osd-prepare-node01-abcde 0/1 Completed 0 3h rook-ceph-osd-prepare-node02-xyzqw 1/1 Running 0 3h ``` 2. 查看具体Pod的日志（以`node01`为例）： ```bash kubectl -n rook-ceph logs rook-ceph-osd-prepare-node01-abcde provision ``` **日志关键点**： - 设备识别：检查是否成功发现预期磁盘（如`/dev/sdb`）。 - 权限问题：若出现`permission denied`，需检查Pod的SecurityContext或存储设备权限[^2]。 - 存储配置：若使用裸磁盘，需确认`cluster.yaml`中`useAllDevices`或`deviceFilter`配置正确[^3]。 #### 2. 解析CephCluster状态 **操作步骤**： ```bash kubectl -n rook-ceph get CephCluster -o yaml ``` **输出关键字段解析**： - **`status.phase`**：集群状态阶段，可能值为： - `Progressing`：部署中。 - `Ready`：正常运行。 - `Error`：存在配置或资源问题[^2]。 - **`status.cephStatus.health`**：Ceph集群健康状态： - `HEALTH_OK`：正常。 - `HEALTH_WARN`：警告（如OSD未满但接近容量）。 - `HEALTH_ERR`：严重错误（如多个OSD宕机）[^4]。 - **`status.conditions`**：详细错误描述，例如： ```yaml - lastTransitionTime: "2023-10-01T02:00:00Z" message: "OSD provisioning failed on node01" reason: InvalidDevice status: "True" type: Failure ``` #### 3. 常见问题及解决 - **问题1：OSD Prepare Pod卡在`Pending`状态** - **原因**：节点资源不足或污点（Taint）导致Pod无法调度。 - **解决**： ```bash kubectl describe pod rook-ceph-osd-prepare-node01-abcde -n rook-ceph # 查看事件详情 ``` - **问题2：日志显示`no available devices`** - **原因**：`cluster.yaml`中未正确指定磁盘或使用了已挂载的磁盘。 - **解决**：检查CephCluster CRD配置，确认`storage.nodes`包含目标节点及设备列表[^3]。 - **问题3：CephCluster状态为`Error`但PV仍可用** - **说明**：可能部分OSD异常但整体集群仍维持最小可用状态。 - **恢复**：重启Ceph Operator尝试重新部署： ```bash kubectl rollout restart deploy rook-ceph-operator -n rook-ceph # 引用[2] ```
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值