建立基于Open vSwitch的GRE隧道

建立基于Open vSwitch的GRE隧道

1. 环境的准备

图6-1 连接拓扑图

如图6-1所示为两台虚拟机连接拓扑图，两台虚拟机ens33网卡，通过虚拟交换机连接在一起，地址网段为30.0.0.0/24。在Docker主机ens33，IP地址为30.0.0.10/24，创建br-int网桥，IP地址为30.1.0.1/24。创建br0网卡，Docker容器使用br0网卡，绑定到br-int网桥上。KVM主机中创建br-ex网桥，配置IP地址为30.0.0.20/24，创建br-int网卡，KVM虚拟机使用br-int网卡，绑定到br-ex网桥上。KVM主机br-int网卡和Docker主机br-int建立GRE隧道，为GRE隧道指定静态路由。

（1）Docker主机

配置1核CPU，2 GB内存，系统为CentOS 7.5，使用NAT模式，ens33地址为30.0.0.10。

（2）KVM主机

配置1核CPU，1 GB内存，系统为CentOS 7.5，使用NAT模式，ens33地址为30.0.0.20。KVM需要打开虚拟化，如下图所示

（3）所需要准备的软件和镜像包

需要的软件和镜像包有VMware Workstation Pro、CentOS-7-x86_64-DVD-1804.iso镜像包、YUM安装包。

2. Docker主机

（1）升级内核版本

1 查看当前系统版本。

# uname -r 3.10.0-862.el7.x86_64

2 更新内核。

# yum install kernel

3 修改grup引导，重新启动。

# vi /etc/grub.conf #boot=/dev/sda default=0 timeout=5 splashimage=(hd0,0)/grub/splash.xpm.gz hiddenmenu title CentOS (3.10.5-3.el6.x86_64)         root (hd0,0)         kernel /vmlinuz-3.10.5-3.el6.x86_64 ro root=UUID=285d26b4-1a82-4f6d-be2b-21924be294ac rd_NO_LUKS rd_NO_LVM LANG=en_US.UTF-8 rd_NO_MD SYSFONT=latarcyrheb-sun16 crashkernel=auto  KEYBOARDTYPE=pc KEYTABLE= us rd_NO_DM rhgb quiet         initrd /initramfs-3.10.5-3.el6.x86_64.img title CentOS (2.6.32-431.el6.x86_64)         root (hd0,0)         kernel /vmlinuz-2.6.32-431.el6.x86_64 ro root=UUID=285d26b4-1a82-4f6d-be2b-21924be294ac rd_NO_LUKS rd_NO_LVM LANG=en_US.UTF-8 rd_NO_MD SYSFONT=latarcyrheb-sun16 crashkernel=auto  KEYBOARDTYPE=pc KEYTABL E=us rd_NO_DM rhgb quiet         initrd /initramfs-2.6.32-431.el6.x86_64.img

内核版本由上至下进行选择，将default改为0，即选择第一个内核版本。

重新启动系统。

# reboot

4 查看升级后系统版本。

# uname -r 3.10.0-862.el7.x86_64

（2）配置网络

1 修改主机名称。

# hostnamectl set-hostname docker 或# vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=docker

2 配置Docker主机ens33的网络。

# vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改是否连接网络（ONBOOT）。

ONBOOT=yes

修改关闭网络实时生效（NM_CONTROLLED）。

NM_CONTROLLER=no

添加静态网络模式（BOOTPROTO）。

BOOTPROTO=static （也可用DHCP）

添加IP地址掩码和网关。

IPADDR=30.0.0.10 （根据实际要求配置IP地址） NETMASK=255.255.255.0 GATEWAY=30.0.0.1

3 重启网络。

# systemctl restart network

（3）基础配置

1 上传Packages.tar.gz和docker.tar.tz文件。

# tar -zxvf Packages.tar.gz -C /opt/ #tar -zxvf  docker.tar.gz  -C /opt/

2 配置本地YUM。

# vi /etc/yum.repos.d/local.repo [docker] name=docker baseurl=file:///opt/docker gpgcheck=0 enabled=1

3 清除防火墙规制。

#yum -y install iptables

# iptables -F # iptables -X # iptables -Z # iptables-save # systemctl stop iptables

4 开启核内转发。

# echo 1 > /proc/sys/net/ipv4/ip_forward # echo 'net.ipv4.ip_forward=1' >/etc/sysctl.conf # echo "net.ipv4.conf.default.rp_filter=0" >> /etc/sysctl.conf # echo 'net.ipv4.conf.all.rp_filter=0' >> /etc/sysctl.conf

生效核内转发。

# /sbin/sysctl –p

5 修改SELinux规则。

# vi /etc/selinux/config SELINUX=permissive # setenforce 0

（4）安装服务

1 安装Open vSwitch、Docker和Bridge服务。

# yum install openvswitch bridge-utils tunctl docker-io –y

2 更新路由。

# yum update iproute

3 启动Open vSwitch。

# systemctl start openvswitch

查看ovs-vsctl的配置。

# ovs-vsctl show 9ea07837-4f42-413b-bdc8-56829647874a ovs_version: "2.1.3"

（5）创建网桥

1 创建br-int网桥。

#ovs-vsctl add-br br-int

创建br0网桥。

#brctl addbr br0

2 重启网络。

# systemctl restart network

3 给br0网桥添加地址。

#ifconfig  br0 30.1.0.1/24

4 绑定br0网桥到br-int上面。

#brctl addif br0 br-int

（6）创建GRE隧道

1 创建gre0接口。

#ovs-vsctl add-port  br-int gre0 -- set interface gre0 type=gre options:remote_ip=30.0.0.20(对端ens33IP地址）

2 启动br0、br-int网桥。

#ip link set br0 up #ip link set br-int up #ifconfig br-int up # ifconfig br0 up

3 配置静态路由。

#ip route add 30.2.0.0/24 via 30.0.0.20（对端ens33IP地址） dev ens33

4 配置Docker容器使用的网桥。

#vi /etc/sysconfig/docker other_args=’--bridge=br0’ (文件最后）

（7）启动Docker服务

1 启动Docker。

#systemctl  start docker

2 上传CentOS 6.5的镜像包。(上传xd-centos6.5-ssh-tar）

# docker  load < xd-centos6.5-ssh-tar   //将镜像包重新导入 #docker  images （查看ID号） # docker  tag d0d663863c34 (ID为上一步上传镜像的IMAGE ID) centos:6.5

3 运行容器。

# docker run -itd  --name=centos6.5 centos:6.5 /bin/bash #docker ps -a

4 查看容器IP。

# docker exec -it centos6.5  /bin/bash 进入dock查看IP地址 则获取的IP地址段为30.1.0.0/24 (与br0在同一个网段）

3. KVM主机

（1）基本配置

检查系统是否支持虚拟化

看看CPU是否支持虚拟化。

# grep -E -o 'vmx|svm' /proc/cpuinfo

注意：返回vmx代表支持因特尔（Intel）系列CPU的虚拟化，返回svm代表支持AMD系列CPU的虚拟化。

1 配置主机名。

# hostnamectl set-hostname kvm # vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=kvm

2 配置KVM主机ens33的网络。

# vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改是否连接网络（ONBOOT）。

ONBOOT=yes

修改关闭网络实时生效（NM_CONTROLLED）。

NM_CONTROLLED=no

添加静态网络模式（BOOTPROTO）。

BOOTPROTO=static (也可以用DHCP）

添加IP地址掩码和网关。

IPADDR=30.0.0.20 NETMASK=255.255.255.0 GATEWAY=30.0.0.1

3 重启网络。

# systemctl restart network

4 配置br-ex网桥。

# cd /etc/sysconfig/network-scripts/ #cp -p ifcfg-ens33 ifcfg-br-ex #vi ifcfg-br-ex DEVICE=br-ex TYPE=Enternet ONBOOT=yes NM_CONTROLLED=no BOOTPROTO=static IPADDR=30.0.0.20 （用当前宿主机的IP地址） NETMASK=255.255.255.0 GATEWAY=30.0.0.1 #vi ifcfg-ens33  DEVICE=ens33 TYPE=Enternet ONBOOT=yes NM_CONTROLLED=no BOOTPROTO=none

5 配置YUM。

上传Packages.tar.gz文件。

# tar -zxvf Packages.tar.gz -C /opt/

配置本地YUM文件。

# vi /etc/yum.repos.d/local.repo [centos] name=centos baseurl=file:///opt/docker gpgcheck=0 enabled=1 [Packages] name=Packages baseurl=file:///opt/Packages gpgcheck=0 enabled=1

6 清空防火墙配置。

# iptables –Z # iptables –X # iptables –F # iptables-save # systemctl stop iptables

7 开启核内转发。

#echo 1 > /proc/sys/net/ipv4/ip_forward # echo 'net.ipv4.ip_forward=1' > /etc/sysctl.conf # echo "net.ipv4.conf.default.rp_filter=0" >> /etc/sysctl.conf # echo 'net.ipv4.conf.all.rp_filter=0' >> /etc/sysctl.conf

生效核内转发。

[root@kvm ~]# sysctl -p

修改SELinux规则。

# vi /etc/selinux/config SELINUX=permissive # setenforce 0

（2）安装服务软件包

1 安装所需安装包。

# yum update iproute #yum install openvswitch qemu-kvm libvirt dnsmasq -y

2 启动Open vSwitch。

# systemctl start openvswitch

3 配置网桥。

# ovs-vsctl add-br br-int # ifconfig  br-int 30.2.0.1/24 #ifconfig br-int up # ovs-vsctl add-br br-ex #ovs-vsctl add-port br-ex ens33 && systemctl  restart network

（3）配置GRE隧道

1 配置GRE隧道。

#ovs-vsctl add-port  br-int gre0 -- set interface gre0 type=gre options:remote_ip=30.0.0.10（对端ens33IP地址）

2 配置路由。

#ip route add 30.1.0.0/24 via 30.0.0.10（对方的IP地址） dev br-ex

3 配置DNS。

# /usr/sbin/dnsmasq --strict-order --bind-interfaces --interface=br-int --except-interface=lo --pid-file=/var/run/qdhcp.pid --leasefile-ro --dhcp-range=30.2.0.3,30.2.0.254,255.255.255.0,12h --conf-file= #ps -ef  |grep dnsmasq

4 创建安装网卡脚本。（up，down脚本文件都保存/root）

# vi ovs-ifup #!/bin/sh switch='br-int' /sbin/ifconfig $1 up ovs-vsctl add-port ${switch} $1

5 创建卸载网卡脚本。

# vi ovs-ifdown #!/bin/sh switch='br-int' /sbin/ifconfig $1 down ovs-vsctl del-port ${switch} $1

6 修改创建的脚本的权限。

# chmod 777 ovs-if*

7 开启虚拟机。

# ovs-vsctl del-port tap0 #/usr/libexec/qemu-kvm -m 1024 -drive file=/root/cirros-0.3.3-x86_64-disk.img,if=virtio -net nic,model=virtio -net tap,script=ovs-ifup -nographic -vnc :1 进入主机查看IP地址，其获取的地址为：30.2.0.0/24（br-int网段地址)

4. 主机测试

1 查看开启的Docker容器进程。

# docker ps –a CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS                      PORTS               NAMES a76c2fc817d1        d0d663863c34        "/bin/bash"         6 hours ago         Up 6 hours                                      mad_poincare

进入Docker容器内部

#docker exec -it 9adae010e4a3 /bin/bash # ip a 6: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP     link/ether 02:42:1e:01:00:02 brd ff:ff:ff:ff:ff:ff     inet 30.1.0.2/24 scope global ens33     inet6 fe80::42:1eff:fe01:2/64 scope link        valid_lft forever preferred_lft forever

2 测试网络连通性。

测试Docker主机和KVM主机与br0和br-int网桥之间的连通性。

# ping 30.1.0.1 -c 4 PING 30.1.0.1 (30.1.0.1) 56(84) bytes of data. 64 bytes from 30.1.0.1: icmp_seq=1 ttl=64 time=0.041 ms 64 bytes from 30.1.0.1: icmp_seq=2 ttl=64 time=0.062 ms 64 bytes from 30.1.0.1: icmp_seq=3 ttl=64 time=0.041 ms 64 bytes from 30.1.0.1: icmp_seq=4 ttl=64 time=0.040 ms --- 30.1.0.1 ping statistics --- 4 packets transmitted, 4 received, 0% packet loss, time 3000ms rtt min/avg/max/mdev = 0.040/0.046/0.062/0.009 ms [root@a76c2fc817d1 /]# ping 30.0.0.10 -c 4 PING 30.0.0.10 (30.0.0.10) 56(84) bytes of data. 64 bytes from 30.0.0.10: icmp_seq=1 ttl=64 time=0.040 ms 64 bytes from 30.0.0.10: icmp_seq=2 ttl=64 time=0.048 ms 64 bytes from 30.0.0.10: icmp_seq=3 ttl=64 time=0.045 ms 64 bytes from 30.0.0.10: icmp_seq=4 ttl=64 time=0.047 ms --- 30.0.0.10 ping statistics --- 4 packets transmitted, 4 received, 0% packet loss, time 3000ms rtt min/avg/max/mdev = 0.040/0.045/0.048/0.003 ms [root@a76c2fc817d1 /]# ping 30.0.0.20 -c 4 PING 30.0.0.20 (30.0.0.20) 56(84) bytes of data. 64 bytes from 30.0.0.20: icmp_seq=1 ttl=63 time=0.614 ms 64 bytes from 30.0.0.20: icmp_seq=2 ttl=63 time=0.295 ms 64 bytes from 30.0.0.20: icmp_seq=3 ttl=63 time=2.38 ms 64 bytes from 30.0.0.20: icmp_seq=4 ttl=63 time=0.533 ms --- 30.0.0.20 ping statistics --- 4 packets transmitted, 4 received, 0% packet loss, time 3003ms rtt min/avg/max/mdev = 0.295/0.957/2.387/0.834 ms [root@a76c2fc817d1 /]# ping 30.2.0.1 -c 4    PING 30.2.0.1 (30.2.0.1) 56(84) bytes of data. 64 bytes from 30.2.0.1: icmp_seq=1 ttl=63 time=0.864 ms 64 bytes from 30.2.0.1: icmp_seq=2 ttl=63 time=0.545 ms 64 bytes from 30.2.0.1: icmp_seq=3 ttl=63 time=0.321 ms 64 bytes from 30.2.0.1: icmp_seq=4 ttl=63 time=0.637 ms --- 30.2.0.1 ping statistics --- 4 packets transmitted, 4 received, 0% packet loss, time 3002ms rtt min/avg/max/mdev = 0.321/0.591/0.864/0.196 ms [root@a76c2fc817d1 /]# ping 30.2.0.140 -c 4 PING 30.2.0.140 (30.2.0.140) 56(84) bytes of data. 64 bytes from 30.2.0.140: icmp_seq=1 ttl=62 time=3.20 ms 64 bytes from 30.2.0.140: icmp_seq=2 ttl=62 time=0.800 ms 64 bytes from 30.2.0.140: icmp_seq=3 ttl=62 time=1.24 ms 64 bytes from 30.2.0.140: icmp_seq=4 ttl=62 time=0.766 ms --- 30.2.0.140 ping statistics --- 4 packets transmitted, 4 received, 0% packet loss, time 3005ms rtt min/avg/max/mdev = 0.766/1.504/3.203/0.999 ms