Kubernetes 故障篇 service端口不通排查流程

一、背景

在K8S集群主机上无法通过svc的ip和端口访问，如下图所示：

二、排查思路

思路一：Service端口配置是否正确？

以前遇到过，开发这边将jar包定义的端口全部修改了，与我yml文件中定义的不一致，当前环境service端口配置正确

思路二：Pod是否正常工作？

检查pod日志信息，当前环境pod服务日志正常，且通过NodePort访问是通的

思路三：kube-proxy组件是否正常工作？

通过检测进程及日志信息，kube-proxy组件工作正常，如下图所示：

思路四：kube-proxy 是否在写iptables规则？

(1) kube-proxy的主要负载Services的负载均衡规则生成，代理模式改为IPVS了，可以通过这种方式查看

(2) 如果没有对应规则，说明kube-proxy组件没工作或者与当前操作系统不兼容导致生成规则失败
(3) 当前环境已生产对应规则

如下图所示：

思路五：calico网络是否正常？

检测与calico相关的pod正常，发现其中一个pod异常

如下图所示：

报错日志信息，如下图所示：

解决方案：调整calicao网络插件的网卡发现机制，修改IP_AUTODETECTION_METHOD对应的value值。官方提供的yaml文件中，ip识别策略（IPDETECTMETHOD）没有配置，即默认为first-found，这会导致一个网络异常的ip作为nodeIP被注册，从而影响node-to-node mesh。我们可以修改成can-reach或者interface的策略，尝试连接某一个Ready的node的IP，以此选择出正确的IP。

三、解决方法

操作如下：修改calico的yaml文件，添加配置项

vim calico.yaml

# Cluster type to identify the deployment type
- name: IP_AUTODETECTION_METHOD #增加内容
  value: "interface=eth.*" 或者 value: "interface=eth0"     #增加内容
# 下面内容是calico.yaml里默认的不修改  
- name: CLUSTER_TYPE
  value: "k8s,bgp"
# Auto-detect the BGP IP address.
- name: IP
  value: "autodetect"
# Enable IPIP
- name: CALICO_IPV4POOL_IPIP
  value: "Always"

重新在master节点上部署：

[root@k8s-master-249 ~]# kubectl apply -f calico.yaml
效果如下图所示：