零入门kubernetes网络实战-30-＞基于bridge+veth pair+DNAT技术来实现外网可以访问内网的方案

《零入门kubernetes网络实战》视频专栏地址

https://www.ixigua.com/7193641905282875942

本篇文章视频地址(稍后上传)

---

通过DNAT技术可以将brige虚拟网桥管理的内网中的服务暴露出来，以供外网访问。

1、测试环境介绍

两台centos虚拟机

# 查看操作系统版本
cat /etc/centos-release
# 内核版本
uname -a
uname -r 
# 查看网卡信息
ip a s eth0

2、网络拓扑

从Slave节点的用户空间里的curl应用发起请求。

3、操作实战

3.1、第1步：在master上执行下面的命令

brctl addbr br0
ip link set br0 up
ip addr add 10.244.1.3/24 dev br0

ip netns add ns1

ip link add veth1a type veth peer name veth1b

ip link set veth1a netns ns1
ip netns exec ns1 ip addr add 10.244.1.2/24 dev veth1a
ip netns exec ns1 ip link set veth1a up

ip link set veth1b up

brctl addif br0 veth1b

ip netns exec ns1 route add default gw 10.244.1.3
iptables -t nat -A PREROUTING -d 10.211.55.122 -p tcp --dport 8090 -i eth0 -j DNAT --to 10.244.1.2:9090

echo 1 > /proc/sys/net/ipv4/ip_forward

3.2、第2步：被测试服务

3.2.1、被测试服务代码

package main

import (
	"encoding/json"
	"fmt"
	"net/http"
)

type Stu struct {
	Age int
	Msg string
}

const ip = "0.0.0.0"

func sayHello(w http.ResponseWriter, r *http.Request) {
	stu := Stu{Age: 12, Msg: "hello world! this is DNAT+bridge+Veth pair Test!"}
	stuJson, e := json.Marshal(&stu)
	if e != nil {
		panic(e)
	}

	w.Write(stuJson)

	fmt.Printf("Reply MSG:%v\tlen(Msg):%d\n", string(stuJson), len(stuJson))
}

func main() {
	http.HandleFunc("/", sayHello)
	fmt.Printf(fmt.Sprintf("App URL: http://%s:%d\n", ip, 9090))

	err := http.ListenAndServe(fmt.Sprintf("%s:%d", ip, 9090), nil)
	if err != nil {
		fmt.Printf("http server failed, err:%v\n", err)
		return
	}
}

不用关心测试代码的具体逻辑，主要是关心请求后，是否有正常打印输出即可。

3.2.2、本地编译，上传到Master节点

Makefile

build:
	CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -o http-web main.go

scp:
	scp http-web root@10.211.55.122:/root

all:
	make build && make scp

大家可以根据自己的实际情况进行修改。

直接执行

make all

3.3、第3步：在master节点上，ns1命名空间里启动http-web服务

ip netns exec ns1 ./http-web

3.4、第4步：slave节点上发起curl请求

curl 10.211.55.122:8090

4、从iptables链的角度，对整个过程进行分析

为了分析整个传输过程，我们添加一些日志埋点，来验证我们的猜测。

如果你已经根据前面的文章安装过了rsyslog服务，就不需要重复操作了

4.1、安装

4.1.1、安装rsyslog服务

yum -y install rsyslog

4.1.2、更新配置文件

echo "kern.*     /var/log/iptables.log" >> /etc/rsyslog.conf 

.*，表示所有等级的消息都添加到iptables.log文件里

信息等级的指定方式

• .XXX，表示 大于XXX级别的信息
• .=XXX,表示等于XXX级别的信息
  • 如，kern.=notice /var/log/iptables.log, 将notice以上的信息添加到iptables.log里
• .!XXX, 表示在XXX之外的等级信息

4.1.3、重启rsyslog服务

systemctl restart rsyslog

systemctl status  rsyslog

4.2、日志埋点

4.3、在master节点上，进行日志埋点

将当前的日志统计清零

iptables -t nat -Z
iptables -t filter -Z

插入日志埋点前，先查看一下，当前的现状

iptables -t nat -nvL PREROUTING --line-number
iptables -t nat -nvL INPUT --line-number
iptables -t filter -nvL FORWARD --line-number
iptables -t nat -nvL POSTROUTING --line-number

插入日志埋点

iptables -t nat -I PREROUTING -d 10.211.55.0/24 -p tcp --dport 8090 -j LOG --log-prefix "Test-nat-PREROUTING-2-"
iptables -t filter -A FORWARD -d 10.244.1.0/24 -p tcp -j LOG --log-prefix "Test-filter-FORWARD-1-"
iptables -t nat -I POSTROUTING -p tcp -d 10.244.1.0/24 -j LOG --log-prefix "Test-nat-POSTROUTING-2-"

iptables -t filter -A FORWARD -d 10.211.55.0/24 -p tcp --sport 9090 -j LOG --log-prefix "Test-filter-FORWARD-333-"

也可以查看一下，ns1命名空间的iptables规则链情况

ip netns exec ns1 iptables -t nat -nvL

查看日志文件

tail -f /var/log/iptables.log

4.3.1、在slave节点上，进行日志埋点

将当前的日志统计清零

iptables -t nat -Z
iptables -t filter -Z

插入日志埋点前，先查看一下，当前的现状

iptables -t nat -nvL OUTPUT --line-number
iptables -t filter -nvL OUTPUT --line-number
iptables -t nat -nvL POSTROUTING --line-number
iptables -t nat -nvL PREROUTING --line-number
iptables -t filter -nvL INPUT --line-number

插入日志埋点

iptables -t nat -I OUTPUT -d 10.211.55.0/24 -p tcp --dport 8090 -j LOG --log-prefix "Test-nat-OUTPUT-1-"
iptables -t filter -I OUTPUT -d 10.211.55.0/24 -p tcp --dport 8090 -j LOG --log-prefix "Test-filter-OUTPUT-1-"
iptables -t nat -I POSTROUTING -d 10.211.55.0/24 -p tcp --dport 8090 -j LOG --log-prefix "Test-nat-POSTROUTING-1-"

iptables -t filter -I INPUT -d 10.211.55.0/24 -p tcp --sport 8090 -j LOG --log-prefix "Test-nat-INPUT-1-"

查看日志文件

tail -f /var/log/iptables.log

4.4、测试

4.4.1、在slave节点，发起请求

curl 10.211.55.122:8090

4.4.2、查看一下，master上日志

tail -f /var/log/iptables.log

4.4.3、查看一下，slave上日志

4.5、整个传输过程，数据包经过了哪些iptables链呢？

下图是 从slave节点通过curl发起请求的路线

这个图，主要是要明白一点，外部数据包进入到eth0网卡后，经过了哪些链才能到达br0

需要经过PRETOUTING链，FORWARD链，POSTROUTING链，才能到达虚拟网桥br0

下图是 master节点上的http-web服务接收到请求后的，反馈路线

备注:
反馈路线，仅供参考。
我个人是有疑问的。
比方说，Master节点上，eth0接收到反馈数据包后，没有走nat表中的PREROUTING链，当然，走了raw，mangle表中的PREROUTING链。

5、传输过程中，数据包是否被修改过？

5.1、针对master节点上的eth0进行抓包

tcpdump -nn -i eth0 -p tcp and dst port 8090
tcpdump -nn -i eth0 -p tcp and dst port 8090 -w icmp-eth0.pcap

5.2、针对master节点上的br0网桥进行抓包

tcpdump -nn -i br0  -w icmp-br0.pcap

5.3、传输过程中数据包的报文内容变化

即，经过DNAT操作后数据包的变化，如下

6、总结

• 通过DNAT操作，可以将内网的服务暴露到外面，以供外网访问。端口映射
• 通过SNAT或者MASQUERADE操作，可以允许内网去访问外网的服务。
• DNAT和SNAT刚好相反，
• 因此，在实际中，要明白到底用哪个？还是一起使用。
• 比方说，kube-proxy里都使用了DNAT、MASQUERADE操作。
• 即，通过DNAT将POD里的服务暴露出来，通过MASQUERADE允许POD内部的服务去访问外网服务。

---

<<零入门kubernetes网络实战>>技术专栏之文章目录

---