一次“不负责任”的 K8s 网络故障排查经验分享

最新推荐文章于 2024-04-25 12:28:38 发布
最新推荐文章于 2024-04-25 12:28:38 发布
阅读量624 收藏 3
点赞数
文章标签： 云原生 k8s 运维开发 devops paas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59358648/article/details/118151761
版权
本文分享了一次K8s集群扩容时遇到的网络故障排查经验，问题聚焦于kube-proxy在1.13.10版本的ipvs模式下，与宿主机4.18内核的iptables规则冲突。排查过程涉及ipvsadm、tcpdump，最终发现CentOS 8使用nftables导致问题。解决方案包括调整内核或升级K8s版本。
摘要由CSDN通过智能技术生成

在这里插入图片描述

作者 ｜ 骆冰利
来源 ｜ Erda 公众号
​

某天晚上，客户碰到了这样的问题：K8s 集群一直扩容失败，所有节点都无法正常加入集群。在经过多番折腾无解后，客户将问题反馈到我们这里，希望得到技术支持。该问题的整个排查过程比较有意思，本文对其中的排查思路及所用的方法进行了归纳整理并分享给大家，希望能够对大家在排查此类问题时有些帮助和参考。
​

问题现象

运维同学在对客户的 K8s 集群进行节点扩容时，发现新增的节点一直添加失败。初步排查结果如下：
​

  • 在新增节点上，访问 K8s master service vip 网络不通。
  • 在新增节点上，直接访问 K8s master hostIP + 6443 网络正常。
  • 在新增节点上，访问其他节点的容器 IP 可以正常 ping 通。
  • 在新增节点上，访问 coredns service vip 网络正常。

该客户使用的 Kubernetes 版本是 1.13.10，宿主机的内核版本是 4.18（centos 8.2）。
​

问题排查过程

收到该一线同事的反馈，我们已经初步怀疑是 ipvs 的问题。根据以往网络问题排查的经验，我们先

最低0.47元/天 解锁文章
尔达 Erda
关注
K8S集群中网络通信故障常见问题的排查思路
江晓龙的博客
07-15 3949
K8S集群有自己独立的内部网络，整个集群的通信都需要依赖网络插件，常见的网络插件有Calico、Flannel、Canel等等。Pod与Pod之间的通信故障是经常会出现的现象，可以去排查网络组件Calico和Kube-proxy这两个组件。Pod自身网络出现问题，会导致Pod中多个容器通信出现异常，具体排查网络组件Calico即可解决问题。当出现此故障时，一定是Calico网络组件产生了问题，需要排查具体的日志。...
记一次k8s网络问题排查
weixin_39850339的博客
08-02 271
记一次k8s网络问题排查
k8s网络问题检查工具
weixin_30526593的博客
09-05 361
https://github.com/nicolaka/netshoot 转载于:https://www.cnblogs.com/double12gzh/p/11464902.html
kubeadmin 部署K8S calico组件POD报错排查记录
l434的博客
02-17 2231
calico ,k8s,kubeadmin
K8S生产环境故障排查一（POD和节点问题排查）
qq_25037905的博客
05-24 6092
一、POD启动异常、部分节点无法启动pod 容器里管理应用 pod是k8S中最小调度单元,POD里面的容器共享pod的空间、资源、网络、存储等。 pod管理一个容器。 pod管理多个容器 pod出现异常的原因： 1、资源过剩： 大量POD在同一个物理节点，出现资源占用太多导致物理节点宕机。 2、内存和CPU超标：pod中的应用出现内存泄露，导致pod内存迅速增多，pod kill了影响节点正常提供服务。（解决办法：压测占用多少内存和CPU，做资源限制；） 3、网络问题：导致POD无法通信（解.
k8s-resume:k8s简历
03-22
"k8s-resume:k8s简历"这个标题暗示了这是一个关于Kubernetes操作经验的总结或者技能展示，可能包含了一份详细描述如何在k8s环境中进行故障恢复的操作记录或个人技术能力的描述。 "Kubernetes集群：恢复k8s"的描述...
Kubernetes_K8s 中的故障排查与故障恢复
# 1. Kubernetes_K8s 中常见的故障类型 Kubernetes是一个广泛应用的容器编排平台，但在实际应用中，会遇到各种各样的故障。本章将介绍Kubernetes中常见的故障类型，并针对每种故障类型进行...#### 故障排查与恢复方法
9. K8S_Linux-k8s控制器-Deployment故障排查和恢复
Kubernetes（简称K8S）是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。在Kubernetes中，Deployment是一种K8S资源对象，用于定义应用程序的声明式规范，管理Pod的创建和更新过程。 ### 1.1 ...
2024 中级运维工程师（K8S）面试题
最新发布
张晨光老师的播客
04-25 704
机房的高度和空间，应考虑敷设地板及吊顶装修后净高。而房顶吊顶一般要取齐过梁下部，并留足灯具和消防设备暗埋高度，通常占用一定高度，这样房间的净高累计减少了近1m，普通楼房的高度在机房装修后会显得较低，也不利于设备的安装。由于机房通信和供电电缆多从室外引入机房，易遭受雷电的侵袭，机房的建筑防雷设计尤其重要，而在通常的站区建筑设计中往往忽视这一点，机房的建筑防雷除应有效地保护建筑自身的安全之外，也应为设备的防雷及工作接地打下良好的基础，机电工程多采用联合接地方式，系统设备接地都是与建筑接地连接在一起的。
Kubernetes 节点磁盘故障排查
NewTyun的博客
07-26 695
新钛云服已累计为您分享667篇技术干货通过本文，您将了解有关Kubernetes节点遇到磁盘压力时的正确处理方式，包括磁盘压力的原因以及故障排除的每一个步骤。无论您运行的是什么应用程序，都需要一些基本的资源。CPU、内存和磁盘空间是通用的，将用于所有应用程序。大多数工程师都对如何处理CPU和内存有着正确的理解，但并不是每个人都会花时间来理解如何正确使用磁盘。在Kubern...
K8S网络总结
weixin_43953343的博客
10-15 2237
K8S网络 文章目录K8S网络前言一、Docker容器和Docker容器之间的网络1.Pod中的容器网络2.pause容器a.共享命名空间b.僵尸进程问题二、Pod与Pod之间的网络1.引入库2.读入数据 前言 K8S的网络模型假定了所有pod都在一个可以直接连通的扁平的网络空间中（所有的pod都可以通过对方的ip直接"到达"）。 本文主要研究 Docker容器和Docker容器之间的网络 Pod与Pod之间的网络 Pod与Service之间的网络 Internet与Service之间的网络 一
[kubernetes]Calico运行异常：dial tcp 10.96.0.1:443: connect: connection refused
大数据
05-12 3476
内置的 kubernetes service 无法删除，其 ClusterIP 为通过 --service-cluster-ip-range 参数指定的 ip 段中的首个 ip，kubernetes endpoints 中的 ip 以及 port 可以通过 --advertise-address 和 --secure-port 启动参数来指定。原文链接：https://blog.csdn.net/dingpwen/article/details/124444614。那么这个10.96.0.1到底是什么呢？
Kubernetes dns问题排查
Victor_Monkey的博客
07-29 3332
一、环境介绍 二、问题说明 1、es集群搭建过程中，查看日志，报错如下 三、问题排查 1、首先查看coredns是否有报错(运行正常) 2、查看coredns日志 3、按照官网上的步骤，添加一个简单的pod，然后验证 4、查看pod中dns的配置是否正常，pod中的dns配置，在etc/resolv.conf中 5、打开coredns的日志配置，重新请求域名解析，查看日志 6、排查kube-proxy，发现报错 三、解决问题 1、 更新内核版本（k8s所有节点） 使用该方式更新内容后，重启系统失败 更新，在
Kubernetes 集群中 Ingress 故障的根因诊断
KubeSphere
06-17 1037
作者：scwang18，主要负责技术架构，在容器云方向颇有研究。 前言 KubeSphere 是青云开源的基于 Kubernetes 的云原生分布式操作系统，提供了比较炫酷的 Kubernetes 集群管理界面，我们团队用 KubeSphere 来作为开发平台。 本文记录了一次 KubeSphere 环境下的网络故障的解决过程。 现象 开发同学反馈自己搭建的 Harbor 仓库总是出问题，偶尔会报 net/http: TLS handshake timeout ， 通过 curl 的方式访问 harbo.
linux提示Another app is currently holding the xtables lock. Perhaps you want to use the -w option?
萌兔兔MMQ！！
10-13 6292
多年来，我一直在使用bash shell脚本来设置复杂的iptables规则。但是，Debian Stretch当我尝试使用脚本时，它变得缓慢并且使iptables处于不良状态。当我尝试执行操作时，iptables -L -v它返回了一个错误…Googleing使我发现了此错误，该错误建议使用“ -w”开关。手册页并没有真正弄清楚此开关如何影响问题。我的脚本使用循环为管理员提供便利，这导致它对iptables进行了大量调用。
linux----------Another app is currently holding the xtables lock. Perhaps you want to use the -w opt...
weixin_33924220的博客
07-21 6121
1、今天突然遇到这个么一个奇葩的问题，直接说问题的原因：原因是我们创建了一个计划任务，这个计划任务是一分钟执行一次，是iptables封ip的一个sh脚本。 　　由于攻击我们的ip太多，已经达到了几千个，这个脚本执行完一次需要的时间超过了一分钟，也就是这次还没执行完，下次又开始执行了 ，所以导致了标题显示的英文错误，提示这个xtable被占用，其实就是被他自己占用了。 2、解决方案肯定就只能是...
k8s部署测试网络不通问题解决思路
Dockerfile的博客
06-08 6465
1:这个pod 网络初始化集群的时候最好不要用 C段地址，192.168这个段，路由容易冲突；2:harbor最好单独一个机器,因为目前发现和k8s复用docker会造成 calico-node autodetect ip错误；从而造成pod不通。3: pod网络不通问题 可以通过下载calicoctl工具调试，测试环境经过研究是因为 calico-nodeautodetect的ip不正确导致路由...
如何优雅的在 Kubernetes Pod 内进行网络抓包
Free雅轩的博客
05-21 443
正好前几天也做了一次抓包问题排查，这次就介绍一下快速进行网络抓包的几种方法。 使用 Kubernetes 时，经常会遇到一些棘手的网络问题需要对 Pod 内的流量进行抓包分析。然而所使用的镜像一般不会带有 tcpdump命令，过去常用的做法简单直接暴力：登录到节点所在节点，使用 root 账号进入容器，然后安装 tcpdump。抓到的包有时还需要拉回本地，使用 Wireshark 进行分析。而且整个过程非常繁琐，跨越几个环境。 正好前几天也做了一次抓包问题排查，这次就介绍一下快速进行网络抓包的几.
全面掌握k8s部署与管理：从安装到故障排查
内容涉及了Docker容器技术的安装与应用、Prometheus监控系统的部署、Grafana的配置与监控数据可视化展示，以及在使用k8s过程中常见问题的排查和解决方法。 Kubernetes（k8s）是目前最流行的开源容器编排平台，它...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值