[kubernetes]-Pod无法通过 Service IP 访问自身

Pod 无法通过 Service IP 访问自身

同样的镜像 在自己环境可以跑起来，放到朋友rancher搭建的环境里就出现了pod的cluster ip+ port可以访问，但是通过service ip+port就无法访问的情况。 后来通过修改svc 模式 cluster ip 到load balance解决。具体出现这个问题的原因，没有去查证。朋友的环境是一主一从，具体环境已经无法验证了。看到这个issue，现象比较相似 记录一下 方便后续自己出现问题的排查。

以下是借鉴的案例

• 网络环境：Calico CNI
• kube-proxy 模式：ipvs

具体问题描述就是，当 Pod 通过自身 Service IP 访问的时候，如果 kube-proxy 刚好调度的实例是 Pod 自身的话，这个时候就出现无法访问的问题。

排查过程网上搜索的资料都是指向 kubelet --hairpin-mode 配置（https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/troubleshooting-kubeadm/#pods-are-not-accessible-via-their-service-ip
），确认了一下集群中这块配置使用的是默认的配置，默认配置是 promiscuous-bridge，如果 kubenet 没有开启的话会自动切换配置为 hairpin-veth 模式。以下是默认配置下，kubelet 的启动日志：

Hairpin mode set to "promiscuous-bridge" but kubenet is not enabled, falling back to "hairpin-veth"
Hairpin mode set to "hairpin-veth"

发现不是 kubenet 之后，切换为 hairpin-veth。觉得问题还是出在 kube-proxy 这块，当前使用的是 ipvs 模式，查看 kube-proxy 启动日志之后，发现一些错误的日志：

Failed to retrieve node info: nodes "xxxxxxx" not found
server_others.go:189] Using ipvs Proxier.
invalid nodeIP, initializing kube-proxy with 127.0.0.1 as nodeIP

使用默认主机名作为节点，但是并没有找到该节点（集群环境统一使用节点 IP 注册的），然后 kube-proxy 又设置 127.0.0.1 作为 nodeIP。怀疑问题出在这一块，通过 --hostname-overwrite 配置实际节点 IP 之后，发现 Pod 通过 Service IP 访问自身恢复正常了。

---

实际看代码解读：

    nodeIP := net.ParseIP(config.BindAddress)
    if nodeIP.IsUnspecified() {
        nodeIP = utilnode.GetNodeIP(client, hostname)
        if nodeIP == nil {
            return nil, fmt.Errorf("unable to get node IP for hostname %s", hostname)
        }
    }
// IsUnspecified reports whether ip is an unspecified address, either
// the IPv4 address "0.0.0.0" or the IPv6 address "::".
func (ip IP) IsUnspecified() bool {
    return ip.Equal(IPv4zero) || ip.Equal(IPv6unspecified)
}

先通过 BindAddress 获取节点 IP，如果是未指定的值 (0.0.0.0 || :😃 则根据主机名获取节点 IP。

// GetNodeIP returns the ip of node with the provided hostname
// If required, wait for the node to be defined.
func GetNodeIP(client clientset.Interface, hostname string) net.IP {
    var nodeIP net.IP
    backoff := wait.Backoff{
        Steps:    5,
        Duration: 1 * time.Second,
        Factor:   2.0,
        Jitter:   0.2,
    }

    err := wait.ExponentialBackoff(backoff, func() (bool, error) {
        node, err := client.CoreV1().Nodes().Get(hostname, metav1.GetOptions{})
        if err != nil {
            klog.Errorf("Failed to retrieve node info: %v", err)
            return false, nil
        }
        nodeIP, err = GetNodeHostIP(node)
        if err != nil {
            klog.Errorf("Failed to retrieve node IP: %v", err)
            return false, err
        }
        return true, nil
    })
    if err == nil {
        klog.Infof("Successfully retrieved node IP: %v", nodeIP)
    }
    return nodeIP
}

如果还是获取不到，则设置 127.0.0.1 为节点 IP

    if nodeIP == nil {
        klog.Warning("invalid nodeIP, initializing kube-proxy with 127.0.0.1 as nodeIP")
        nodeIP = net.ParseIP("127.0.0.1")
    }

因此上文只要设置 --bind-address 项应该也是生效的，实测是正常的。不过当前只是把问题解决了，为何 nodeIP 正确获取之后，之前的问题就解决了？答案是未知的… 类似的问题 kubernetes/kubernetes#57518

https://github.com/opskumu/issues/issues/23#issuecomment-547280434

https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/troubleshooting-kubeadm/#pods-are-not-accessible-via-their-service-ip