线上部署的一个应用的pod,访问时采用的是ingress的方式,同时为了ingress的高可用,运行了3个ingress-controller节点,在ingress-controller前面再挂了一个F5负载均衡器,所有访问ingress访问的域名,域名解析地址都为F5的vip地址,再由F5负载均衡到一个ingress-controller上面。
数据流量流向:
client-->F5-->ingress-->pod.经了解,F5负载均衡为fullnat方式,源ip和目标IP都会被修改。
以client(10.233.130.87)访问ingress(ingress域名k8s-jenkins.xxx.com,域名解析ip-10.230.130.115为F5的VIP)为例,地址信息会被F5修改为源IP-10.233.130.254(F5后端IP),目标IP-10.233.130.89(一个ingress-controller所在节点IP地址)。为了让后端应用能获取真实客户端ip,F5在7层通过http头传递真实客户端ip到ingress-controller上面。后端应用的逻辑代码里面为通过获取http头X-Forwarded-For字段的信息作为客户端地址,发现一直都是10.233.130.254(F5后端IP),地址信息不匹配。
后在应用的pod里面通过tcpdump抓取包用wireshark分析,发现客户端真实地址信息放到了http头X-Original-Forwarded-For里面,而不是X-Forwarded-For,见如下截图。