k8s pod内部ping不通service

项目场景:

提示:又是连续2天的加班,麻了,给兄弟们做个网上找不到的问题解决方案吧:

场景:因生产出现故障,重新启动apollo几个组件pod后,访问不了apollo web界面。


问题描述

提示:项目中遇到的问题:

很奇怪,平时没有apollo出问题的事。由于apollo错误日志太多了,整的人头痛,最后还是确定了这条日志是关键所在:

Caused by: java.net.UnknownHostException: apollo-config-server-service.default

原因分析:

补充次要知识点:很多兄弟看到k8s这个点default不明白什么意思,实际上default代表命名空间的意思。举个例子:order命名空间的A服务要调用 gateway命名空间的B(service)服务的接口的话,就得在deployment里这样配置:http://B.gateway

主要问题分析:

  1. 很明显上面的意思是域名解析出问题了,于是我进到pod里去ping 这个service试试
# ping  apollo-config-server-service
# 卡住了
  1. 从上面可以看出pod内部ping不通k8s的svc,那只有两种可能:
第一,dns解析就出问题了,这个因为之前解决过,现在不可能出现这个问题(具体怎么解决的,我在后面文章给大家分析解决一下)
第二, dns解析没问题,沿着A服务-->coredns --> 解析出svc ip--->kube-proxy将svc的请求转发到后端pod ip这样的链路我们确定 问题出现在 coredns和kube-proxy这里了

3.我开始排查coredns,立马重启。这里有插曲,奇怪的是我这个coredns只在一个节点上能起来,没办法就让他在那个节点待着吧

4.在回到pod ping发现,还是不通

5.重启kube-proxy后,ping通了


解决方案:

提示:当你发现环境突然网络访问不了svc的时候,请直接重启所有的kube-proxy:
1.确认内核版本在4.1以上
2.重启kube-proxy
参考文章

  • 3
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
Kubernetes内部访问Service不通时,可能有多种原因。以下是一些常见的故障排除步骤: 1. 确认ServicePod的状态:使用`kubectl get services`命令检查Service的状态是否正常,并使用`kubectl get pods -n <namespace>`命令检查相关Pod的状态是否正常。 2. 确认Service的选择器和Pod标签匹配:确保Service的选择器与目标Pod的标签匹配。可以使用`kubectl describe service <service-name>`命令来查看Service的详细信息,并检查`Selector`字段。 3. 确认Pod正常运行:检查目标Pod是否正在运行,并且没有任何容器故障。可以使用`kubectl describe pod <pod-name>`命令来查看Pod的详细信息,并检查是否有任何错误或异常。 4. 检查网络策略:如果你启用了网络策略(NetworkPolicy),请确保它允许从源Pod访问目标Service。可以使用`kubectl get networkpolicy -n <namespace>`命令来查看网络策略,并确保适当的规则已配置。 5. 检查防火墙规则:在某些情况下,防火墙规则可能会阻止内部访问。请确保没有任何防火墙规则阻止了Kubernetes内部通信。 6. 检查DNS解析:确保DNS解析正常工作,并且Service的DNS名称能够正确解析为相应的Pod IP地址。可以尝试在集群内部的其他Pod中使用Service的DNS名称进行访问,以验证DNS解析是否正常。 这些是一些常见的故障排除步骤,希望对你有所帮助。如果问题仍然存在,请提供更多详细信息,以便我能够提供更准确的帮助。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

day-day-up2

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值