ovs原理与实践

已于 2023-02-06 21:38:39 修改
阅读量3.4k 收藏 15
点赞数 2
分类专栏： kubernetes 文章标签： 网络
于 2022-07-10 17:58:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/NUCEMLS/article/details/125708696
版权

简介

OVS(Open vSwitch)是在开源 Apache 2.0 许可下获得许可的生产级多层虚拟交换机。它旨在通过编程扩展实现大规模网络自动化，同时仍支持标准管理接口和协议（例如 NetFlow、sFlow、IPFIX、RSPAN、CLI、LACP、802.1ag）。此外，它旨在支持跨多个物理服务器的分布，类似于 VMware 的 vNetwork 分布式 vswitch 或 Cisco 的 Nexus 1000V。常在SDN(Software Defined Network，软件定义网络)领域能看到ovs的身影。

在这里插入图片描述

原理

在这里插入图片描述

组件

ovs由三个组件组成：dataPath、vswitchd和ovsdb。

  • dataPath(opevswitch.ko)

openvswitch.ko是ovs的内核模块，当openvswitch.ko模块被加载到内核时，会在网卡上注册一个钩子函数，每当网络包到达网卡时这个钩子函数就会被调用。openvswitch.ko模块在处理网络包时，会先匹配内核中能不能匹配到策略（内核流表）来处理，如果匹配到了策略，则直接在内核态根据该策略做网络包转发，这个过程全程在内核中完成，处理速度非常快，也称之为fast path（快速通道）；如果内核中没有匹配到相应策略，则把数据包交给用户态的vswitchd进程处理，此时叫作slow path（慢通道）。dataPath模块可以通过ovs-dpctl命令来配置。

  • vswitchd

vswitchd是ovs的核心模块，它工作在用户空间(user space)，负责与OpenFlow控制器、第三方软件通信。vswitchd接收到数据包时，会去匹配用户态流表，如果匹配成功则根据相关规则转发；如果匹配不成功，则会根据OpenFlow协议规范处理，把数据包上报给控制器（如果有）或者丢弃。

  • ovsdb

ovs数据库，存储整个ovs的配置信息，包括接口、交换内容、vlan、虚拟交换机信息等。

术语

ovs有很多术语，我们选取一些常见的术语做解释。

  • Bridge

网桥，也就是交换机（不过是虚拟的，即vSwitch），一台主机中可以创建多个网桥。当数据包从网桥的某个端口进来后，网桥会根据一定的规则把该数据包转发到另外的端口，也可以修改或者丢弃报文。

  • Port

交换机的端口，有以下几种类型：

  1. Normal: 将物理网卡添加到bridge时它们会成为Port，类型为Normal。此时物理网卡配置ip已没有意义，它已经“退化成一根网线”只负责数据报文的进出。Normal类型的Port常用于vlan模式下多台物理主机相连的那个口，交换机的一端属于Trunk模式。
  2. Internal: 此类型的Port，ovs会自动创建一个虚拟网卡接口(Interface)，此端口收到数据都会转发给这块网卡，从网卡发出的数据也会通过Port交给ovs处理。当ovs创建一个新的Bridge时，会自动创建一个与网桥同名的Internal Port，同时也会创建一个与网桥同名的Interface。另外，Internal Port可配置IP地址，然后将其up，即可实现ovs三层网络。
  3. Patch: 与veth pair功能类似，常用于连接两个Bridge。
  4. Tunnel: 实现overlay网络，支持GRE、vxlan、STT、Geneve和IPSec等隧道协议。
  • Interface

网卡，虚拟的（TUN/TAP）或物理的都可以。

  • Controller

控制器，ovs可以接收一个或多个OpenFlow控制器的管理，主要功能为下发流表来控制转发规则。

  • FlowTable

流表，ovs进行数据转发的核心功能，定义了端口之间的转发数据规则。每条流表规则可以分为匹配和动作两部分，“匹配”决定哪些数据将被处理，“动作”则决定了这些数据将被如何处理。

安装

以官网tar包安装方式为例，来看看ovs的安装过程。安装前先看看机器信息：

# uname -a
Linux VM-12-7-centos 3.10.0-1160.45.1.el7.x86_64 #1 SMP Wed Oct 13 17:20:51 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux
下载

ovs官网下载对应版本tar包：https://www.openvswitch.org/download/，本文以当前最新版本的ovs：https://www.openvswitch.org/releases/openvswitch-2.17.2.tar.gz

上传并解压

上传ovs压缩包到rpm对应目录下并解压：

# mkdir -p ~/rpmbuild/SOURCES
// 拷贝ovs tar包到~/rpmbuild/SOURCES目录下
# cd ~/rpmbuild/SOURCES/
# ls
openvswitch-2.17.2.tar.gz
# tar -zvxf openvswitch-2.17.2.tar.gz
安装依赖
# yum install wget openssl-devel  python-sphinx gcc make python-devel openssl-devel kernel-devel graphviz kernel-debug-devel autoconf automake rpm-build redhat-rpm-config libtool python-twisted-core python-zope-interface PyQt4 desktop-file-utils libcap-ng-devel groff checkpolicy selinux-policy-devel gcc-c++ python-six unbound unbound-devel python3-devel python3-sphinx -y
构建rpm包
# pwd
/root/rpmbuild/SOURCES
# rpmbuild -bb --nocheck openvswitch-2.17.2/rhel/openvswitch-fedora.spec
yum安装
# yum localinstall ~/rpmbuild/RPMS/x86_64/openvswitch-2.17.2-1.el7.x86_64.rpm -y
安装验证
# ovs-vsctl --version
ovs-vsctl (Open vSwitch) 2.17.2
DB Schema 8.3.0
启动并验证
# systemctl enable openvswitch
Created symlink from /etc/systemd/system/multi-user.target.wants/openvswitch.service to /usr/lib/systemd/system/openvswitch.service.
# systemctl start openvswitch
# ps -ef | grep openvswitch
openvsw+ 13719     1  0 17:21 ?        00:00:00 ovsdb-server /etc/openvswitch/conf.db -vconsole:emer -vsyslog:err -vfile:info --remote=punix:/var/run/openvswitch/db.sock --private-key=db:Open_vSwitch,SSL,private_key --certificate=db:Open_vSwitch,SSL,certificate --bootstrap-ca-cert=db:Open_vSwitch,SSL,ca_cert --user openvswitch:openvswitch --no-chdir --log-file=/var/log/openvswitch/ovsdb-server.log --pidfile=/var/run/openvswitch/ovsdb-server.pid --detach
openvsw+ 13795     1  0 17:21 ?        00:00:00 ovs-vswitchd unix:/var/run/openvswitch/db.sock -vconsole:emer -vsyslog:err -vfile:info --mlockall --user openvswitch:openvswitch --no-chdir --log-file=/var/log/openvswitch/ovs-vswitchd.log --pidfile=/var/run/openvswitch/ovs-vswitchd.pid --detach
root     14073 27590  0 17:22 pts/1    00:00:00 grep --color=auto openvswitch
# ovs-vsctl show
a42fb670-8260-4a09-9af6-b28a5382adb3
    ovs_version: "2.17.2"

简单实践

创建ovs交换机

在这里插入图片描述

我们在宿主机上创建一个名为sw1的ovs交换机：

# ovs-vsctl add-br sw1
# ovs-vsctl list-br
sw1
# ovs-vsctl show
a42fb670-8260-4a09-9af6-b28a5382adb3
    Bridge sw1
        Port sw1
            Interface sw1
                type: internal
    ovs_version: "2.17.2"
简单访问

在这里插入图片描述

我们在宿主机上用网络命名空间代替访问节点，如下图所示，网络命名空间通过veth pair与ovs交换机连接，配置好ip并验证连通性。

// 创建两个网络命名空间
# ip netns add ns1
# ip netns add ns2
# ip netns show
ns2
ns1


// 创建两个veth pair，并分别把这两个veth pair的一端放到上述两个网络命名空间
// 第一个网络命名空间配置
# ip link add veth11 type veth peer name veth12
# ip link set veth12 netns ns1
# ip link set veth11 up
# ip netns exec ns1 ip link set veth12 up
// 第二个网络网名空间配置
# ip link add veth21 type veth peer name veth22
# ip link set veth22 netns ns2
# ip link set veth21 up
# ip netns exec ns2 ip link set veth22 up


// 把veth11和veth21插到ovs交换机上
# ovs-vsctl add-port sw1 veth11
# ovs-vsctl add-port sw1 veth21
# ovs-vsctl show
a42fb670-8260-4a09-9af6-b28a5382adb3
    Bridge sw1
        Port veth21
            Interface veth21
        Port sw1
            Interface sw1
                type: internal
        Port veth11
            Interface veth11
    ovs_version: "2.17.2"


// 网络命名空间内配置ip
// ns1配置ip
# ip netns exec ns1 ip addr add 1.1.1.1/24 dev veth12
# ip netns exec ns1 ifconfig veth12
veth12: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 1.1.1.1  netmask 255.255.255.0  broadcast 0.0.0.0
        inet6 fe80::8c75:26ff:fe3a:74c0  prefixlen 64  scopeid 0x20<link>
        ether 8e:75:26:3a:74:c0  txqueuelen 1000  (Ethernet)
        RX packets 8  bytes 656 (656.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 8  bytes 656 (656.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

// ns2配置ip
# ip netns exec ns2 ip addr add 1.1.1.2/24 dev veth22
# ip netns exec ns2 ifconfig veth22
veth22: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 1.1.1.2  netmask 255.255.255.0  broadcast 0.0.0.0
        inet6 fe80::784e:6bff:feb0:68e  prefixlen 64  scopeid 0x20<link>
        ether 7a:4e:6b:b0:06:8e  txqueuelen 1000  (Ethernet)
        RX packets 8  bytes 656 (656.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 8  bytes 656 (656.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0


// 验证连通性
// ns1 ping ns2
# ip netns exec ns1 ping -c 1 1.1.1.2
PING 1.1.1.2 (1.1.1.2) 56(84) bytes of data.
64 bytes from 1.1.1.2: icmp_seq=1 ttl=64 time=0.350 ms
--- 1.1.1.2 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 0.350/0.350/0.350/0.000 ms

// ns2 ping ns1
# ip netns exec ns2 ping -c 1 1.1.1.1
PING 1.1.1.1 (1.1.1.1) 56(84) bytes of data.
64 bytes from 1.1.1.1: icmp_seq=1 ttl=64 time=0.044 ms
--- 1.1.1.1 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 0.044/0.044/0.044/0.000 ms
vlan隔离

在这里插入图片描述

基于前面的环境，我们把插在ovs交换机上的两个虚拟网络设备对端口分别打上不同的tag（默认是0），也就是配置到不同的vlan里，再验证网络连通性：

# ovs-vsctl show
a42fb670-8260-4a09-9af6-b28a5382adb3
    Bridge sw1
        Port veth21
            Interface veth21
        Port sw1
            Interface sw1
                type: internal
        Port veth11
            Interface veth11
    ovs_version: "2.17.2"
// 设置两个端口的vlan tag
# ovs-vsctl set port veth11 tag=10
# ovs-vsctl set port veth21 tag=20

// 验证连通性
// ns1 ping ns2，vlan tag不同，不能通信
# ip netns exec ns1 ping -c 1 1.1.1.2
PING 1.1.1.2 (1.1.1.2) 56(84) bytes of data.
^C
--- 1.1.1.2 ping statistics ---
1 packets transmitted, 0 received, 100% packet loss, time 0ms

// ns2 ping ns1，vlan tag不同，不能通信
# ip netns exec ns2 ping -c 1 1.1.1.1
PING 1.1.1.1 (1.1.1.1) 56(84) bytes of data.
^C
--- 1.1.1.1 ping statistics ---
1 packets transmitted, 0 received, 100% packet loss, time 0ms
流表

我们先把上述两个ovs端口的vlan tag再改为0，使得两个网名命名空间可以通信：

# ovs-vsctl set port veth11 tag=0
# ovs-vsctl set port veth21 tag=0
# ip netns exec ns1 ping -c 1 1.1.1.2
PING 1.1.1.2 (1.1.1.2) 56(84) bytes of data.
64 bytes from 1.1.1.2: icmp_seq=1 ttl=64 time=0.301 ms
--- 1.1.1.2 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 0.301/0.301/0.301/0.000 ms
# ip netns exec ns2 ping -c 1 1.1.1.1
PING 1.1.1.1 (1.1.1.1) 56(84) bytes of data.
64 bytes from 1.1.1.1: icmp_seq=1 ttl=64 time=0.226 ms

--- 1.1.1.1 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 0.226/0.226/0.226/0.000 ms

看看此时ovs默认的流表：

# ovs-ofctl dump-flows sw1
 cookie=0x0, duration=2373.019s, table=0, n_packets=28, n_bytes=1736, priority=0 actions=NORMAL

此时ovs就类似于传统交换机，我们给ovs交换机添加一条优先级为2（数字越大优先级越高，高于默认表项的0优先级）的流表项，把veth11进来的请求都drop掉，看看ns1是否还能ping通ns2：

# ovs-ofctl add-flow sw1 "priority=2,in_port=veth11,actions=drop"
# ovs-ofctl dump-flows sw1
 cookie=0x0, duration=19.327s, table=0, n_packets=0, n_bytes=0, priority=2,in_port=veth11 actions=drop
 cookie=0x0, duration=4738.907s, table=0, n_packets=28, n_bytes=1736, priority=0 actions=NORMAL

// 再看看ns1与ns2的连通性，连接不通
# ip netns exec ns1 ping -c 1 1.1.1.2
PING 1.1.1.2 (1.1.1.2) 56(84) bytes of data.
^C
--- 1.1.1.2 ping statistics ---
1 packets transmitted, 0 received, 100% packet loss, time 0ms

// 删除该表项，ns1与ns2又能正常通信
# ovs-ofctl del-flows sw1 "in_port=veth11"
# ovs-ofctl dump-flows sw1
 cookie=0x0, duration=5369.839s, table=0, n_packets=28, n_bytes=1736, priority=0 actions=NORMAL
# ip netns exec ns1 ping -c 1 1.1.1.2
PING 1.1.1.2 (1.1.1.2) 56(84) bytes of data.
64 bytes from 1.1.1.2: icmp_seq=1 ttl=64 time=0.278 ms
--- 1.1.1.2 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 0.278/0.278/0.278/0.000 ms
QoS限速和整流

ovs本身并没有实现QoS功能，QoS功能的实现是在内核中，ovs只是能够配置部分支持的QoS类型。如果遇到ovs不支持的QoS类型，可以通过patch或者tc工具来支持。

QoS在ovs中的使用和传统网络一样，主要分为两种：

  1. Policing管制：用于控制接口上接收分组（ingress）的速率，是一种简单的QoS的功能，通过简单的丢包机制实现接口速率的限制，它既可以作用于物理接口，也可以作用于虚拟接口；
  2. Shaping整流：是作用于接口上的出口流量（egress）策略，可以实现多个QoS队列，不同队列里面处理不同策略，一般用这种方式。

再配置ovs ingress和egress之前，我们先用iperf看看没有配置QoS时的网络测试：

// ns1网络命名空间执行如下命令，iperf参数解释：
// -c 1.1.1.2: 指定server端ip为1.1.1.2，也就是ns2网络命名空间ip
// -p 5566: 指定server端口
// -b 10m: udp模式使用的带宽为10m/s
// -t 5: 传输的总时间为5s
// -i 1: 每次传输间隔为1s
// -u: 使用udp方式而不是tcp方式
# ip netns exec ns1 iperf -c 1.1.1.2 -p 5566 -b 10m -t 5 -i 1 -u
------------------------------------------------------------
Client connecting to 1.1.1.2, UDP port 5566
Sending 1470 byte datagrams, IPG target: 1176.00 us (kalman adjust)
UDP buffer size:  208 KByte (default)
------------------------------------------------------------
[  3] local 1.1.1.1 port 60893 connected with 1.1.1.2 port 5566
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0- 1.0 sec  1.19 MBytes  10.0 Mbits/sec
[  3]  1.0- 2.0 sec  1.19 MBytes  10.0 Mbits/sec
[  3]  2.0- 3.0 sec  1.19 MBytes  10.0 Mbits/sec
[  3]  3.0- 4.0 sec  1.19 MBytes  10.0 Mbits/sec
[  3]  0.0- 5.0 sec  5.96 MBytes  10.0 Mbits/sec
[  3] Sent 4252 datagrams
[  3] Server Report:
[  3]  0.0- 5.0 sec  5.96 MBytes  10.0 Mbits/sec   0.000 ms    0/ 4252 (0%)

// ns2网络命名空间执行如下命令，参数解释：
// -s: iperf服务器模式
// -p 5566: 指定server端口
// -i 1: 每次传输间隔为1s
// -u: 使用udp方式而不是tcp方式
# ip netns exec ns2 iperf -s -p 5566 -i 1 -u 
------------------------------------------------------------
Server listening on UDP port 5566
Receiving 1470 byte datagrams
UDP buffer size:  208 KByte (default)
------------------------------------------------------------
[  3] local 1.1.1.2 port 5566 connected with 1.1.1.1 port 60893
[ ID] Interval       Transfer     Bandwidth        Jitter   Lost/Total Datagrams
[  3]  0.0- 1.0 sec  1.19 MBytes  10.0 Mbits/sec   0.002 ms    0/  851 (0%)
[  3]  1.0- 2.0 sec  1.19 MBytes  10.0 Mbits/sec   0.003 ms    0/  850 (0%)
[  3]  2.0- 3.0 sec  1.19 MBytes  10.0 Mbits/sec   0.002 ms    0/  851 (0%)
[  3]  3.0- 4.0 sec  1.19 MBytes  10.0 Mbits/sec   0.001 ms    0/  850 (0%)
[  3]  4.0- 5.0 sec  1.19 MBytes  10.0 Mbits/sec   0.001 ms    0/  850 (0%)
[  3]  0.0- 5.0 sec  5.96 MBytes  10.0 Mbits/sec   0.001 ms    0/ 4252 (0%)

从上面结果可以看出，ns1出来的10m/s的带宽数据到ns2时也是10m/s，也就是相当于没有限制。

  • ingress

在这里插入图片描述

给ns1网络命名空间对应的ovs interface(veth11)配置入口流量（ingress）最高带宽为5M/s(参考资料：https://docs.openvswitch.org/en/latest/howto/qos/)：

# ovs-vsctl set interface veth11 ingress_policing_rate=5000 ingress_policing_burst=500
# ovs-vsctl --columns=ingress_policing_rate,ingress_policing_burst list interface veth11
ingress_policing_rate: 5000
ingress_policing_burst: 500

// ns1网络命名空间继续按照10M/s的带宽打流量
# ip netns exec ns1 iperf -c 1.1.1.2 -p 5566 -b 10m -t 5 -i 1 -u
------------------------------------------------------------
Client connecting to 1.1.1.2, UDP port 5566
Sending 1470 byte datagrams, IPG target: 1176.00 us (kalman adjust)
UDP buffer size:  208 KByte (default)
------------------------------------------------------------
[  3] local 1.1.1.1 port 54372 connected with 1.1.1.2 port 5566
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0- 1.0 sec  1.19 MBytes  10.0 Mbits/sec
[  3]  1.0- 2.0 sec  1.19 MBytes  10.0 Mbits/sec
[  3]  2.0- 3.0 sec  1.19 MBytes  10.0 Mbits/sec
[  3]  3.0- 4.0 sec  1.19 MBytes  10.0 Mbits/sec
[  3]  0.0- 5.0 sec  5.96 MBytes  10.0 Mbits/sec
[  3] Sent 4252 datagrams
[  3] Server Report:
[  3]  0.0- 5.3 sec  2.98 MBytes  4.77 Mbits/sec  15.646 ms 2125/ 4253 (50%)

// ns2网络命名空间观察带宽情况，发现已被限速
# ip netns exec ns2 iperf -s -p 5566 -i 1 -u 
------------------------------------------------------------
Server listening on UDP port 5566
Receiving 1470 byte datagrams
UDP buffer size:  208 KByte (default)
------------------------------------------------------------
[  3] local 1.1.1.2 port 5566 connected with 1.1.1.1 port 54372
[ ID] Interval       Transfer     Bandwidth        Jitter   Lost/Total Datagrams
[  3]  0.0- 1.0 sec   659 KBytes  5.40 Mbits/sec   0.003 ms  392/  851 (46%)
[  3]  1.0- 2.0 sec   599 KBytes  4.90 Mbits/sec   0.003 ms  433/  850 (51%)
[  3]  2.0- 3.0 sec   600 KBytes  4.92 Mbits/sec   0.002 ms  434/  852 (51%)
[  3]  3.0- 4.0 sec   599 KBytes  4.90 Mbits/sec   0.004 ms  433/  850 (51%)
[  3]  4.0- 5.0 sec   599 KBytes  4.90 Mbits/sec  15.647 ms  433/  850 (51%)
[  3]  0.0- 5.3 sec  2.98 MBytes  4.77 Mbits/sec  15.647 ms 2125/ 4253 (50%)
  • egress

在这里插入图片描述

前面的ingress配置不用清除，继续给ns2网络命名空间对应的ovs port(veth21)配置出口流量（egress）QoS(参考资料：https://docs.openvswitch.org/en/latest/faq/qos/)：

// 给veth21配置最大出口流量带宽为2M/s
// 参数解释：
// --: 用于把命令分割成单独解析的命令行
// \: 用于换行
// set port veth21 qos=@newqos: 设置veth21端口QoS规则名为newqos
// id=@newqos create qos type=linux-htb queues=0=@q0: 创建qosrule1规则，类型为linux-htb，连接key值为0的队列q0
// id=@q0 create queue other-config:max-rate=2000000: 创建 q0 队列，设置最大带宽为2M/s
// 返回数据第一行是QoS id(7a86db32-b323-48f8-820e-63f4ed395d72)
// 返回数据第二行是queue id(23bbb7fe-00ba-4f57-9257-9ce8e2038053)
// 可以用ovs-vsctl list port/qos/queue查看相关数据
# ovs-vsctl set port veth21 qos=@newqos -- \
--id=@newqos create qos type=linux-htb queues=0=@q0 -- \
--id=@q0 create queue other-config:max-rate=2000000
dde4bd09-c686-41c3-9da6-4c3ef6fcbb60
abfbede7-bdac-4b93-ab5c-216e7c47648d


// 查看port veth21
# ovs-vsctl --columns=qos list port veth21
qos                 : dde4bd09-c686-41c3-9da6-4c3ef6fcbb60


// 查看qos
# ovs-vsctl list qos
_uuid               : dde4bd09-c686-41c3-9da6-4c3ef6fcbb60
external_ids        : {}
other_config        : {}
queues              : {0=abfbede7-bdac-4b93-ab5c-216e7c47648d}
type                : linux-htb


// 查看queue
# ovs-vsctl list queue
_uuid               : abfbede7-bdac-4b93-ab5c-216e7c47648d
dscp                : []
external_ids        : {}
other_config        : {max-rate="2000000"}


// tc查看相关配置是否生效
# tc -d -s qdisc show dev veth21
qdisc htb 1: root refcnt 2 r2q 10 default 1 direct_packets_stat 0 ver 3.17 direct_qlen 1000
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
# tc -d -s class show dev veth21
class htb 1:1 parent 1:fffe prio 0 quantum 1500 rate 12Kbit ceil 2Mbit linklayer ethernet burst 1563b/1 mpu 0b cburst 1564b/1 mpu 0b level 0 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
 lended: 0 borrowed: 0 giants: 0
 tokens: 16291666 ctokens: 97750
 
class htb 1:fffe root rate 10Gbit ceil 10Gbit linklayer ethernet burst 1250b/1 mpu 0b cburst 1250b/1 mpu 0b level 7 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0 
 lended: 0 borrowed: 0 giants: 0
 tokens: 18 ctokens: 18

打流量验证：

// ns1网络命名空间继续打10M/s的流量
# ip netns exec ns1 iperf -c 1.1.1.2 -p 5566 -b 10m -t 5 -i 1 -u
------------------------------------------------------------
Client connecting to 1.1.1.2, UDP port 5566
Sending 1470 byte datagrams, IPG target: 1176.00 us (kalman adjust)
UDP buffer size:  208 KByte (default)
------------------------------------------------------------
[  3] local 1.1.1.1 port 41000 connected with 1.1.1.2 port 5566
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0- 1.0 sec   983 KBytes  8.06 Mbits/sec
[  3]  1.0- 2.0 sec  1.41 MBytes  11.8 Mbits/sec
[  3]  2.0- 3.0 sec  1.06 MBytes  8.91 Mbits/sec
[  3]  3.0- 4.0 sec  1.06 MBytes  8.89 Mbits/sec
[  3]  0.0- 5.2 sec  5.90 MBytes  9.47 Mbits/sec
[  3] Sent 4212 datagrams
[  3] Server Report:
[  3]  0.0- 5.5 sec  1.28 MBytes  1.95 Mbits/sec  22.792 ms 3298/ 4212 (78%)

// ns2网络命名空间观察带宽数据，发现已被限速到2M/s
# ip netns exec ns2 iperf -s -p 5566 -i 1 -u 
------------------------------------------------------------
Server listening on UDP port 5566
Receiving 1470 byte datagrams
UDP buffer size:  208 KByte (default)
------------------------------------------------------------
[  3] local 1.1.1.2 port 5566 connected with 1.1.1.1 port 41000
[ ID] Interval       Transfer     Bandwidth        Jitter   Lost/Total Datagrams
[  3]  0.0- 1.0 sec   240 KBytes  1.96 Mbits/sec   7.412 ms   46/  213 (22%)
[  3]  1.0- 2.0 sec   237 KBytes  1.94 Mbits/sec  17.413 ms  816/  981 (83%)
[  3]  2.0- 3.0 sec   238 KBytes  1.95 Mbits/sec   9.372 ms  609/  775 (79%)
[  3]  3.0- 4.0 sec   237 KBytes  1.94 Mbits/sec   6.783 ms  808/  973 (83%)
[  3]  4.0- 5.0 sec   237 KBytes  1.94 Mbits/sec  13.762 ms  613/  778 (79%)
[  3]  0.0- 5.5 sec  1.28 MBytes  1.95 Mbits/sec  22.792 ms 3298/ 4212 (78%)

我们把veth21 egress带宽限速改为8M/s（大于veth11 ingress的带宽5M/s），如下图所示：

在这里插入图片描述

理论上ns2网络命名空间是以整条链路最低带宽为基准接收数据包的，也就是5M/s：

// 修改veth21 egress带宽为8M/s
# ovs-vsctl set queue abfbede7-bdac-4b93-ab5c-216e7c47648d other_config:max-rate=8000000
# ovs-vsctl list queue
_uuid               : abfbede7-bdac-4b93-ab5c-216e7c47648d
dscp                : []
external_ids        : {}
other_config        : {max-rate="8000000"}
# tc class show dev veth21
class htb 1:1 parent 1:fffe prio 0 rate 12Kbit ceil 8Mbit burst 1563b cburst 1563b 
class htb 1:fffe root rate 10Gbit ceil 10Gbit burst 1250b cburst 1250b

// ns1网络命名空间依旧按10M/s打流量
# ip netns exec ns1 iperf -c 1.1.1.2 -p 5566 -b 10m -t 5 -i 1 -u
------------------------------------------------------------
Client connecting to 1.1.1.2, UDP port 5566
Sending 1470 byte datagrams, IPG target: 1176.00 us (kalman adjust)
UDP buffer size:  208 KByte (default)
------------------------------------------------------------
[  3] local 1.1.1.1 port 44151 connected with 1.1.1.2 port 5566
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0- 1.0 sec  1.19 MBytes  10.0 Mbits/sec
[  3]  1.0- 2.0 sec  1.19 MBytes  10.0 Mbits/sec
[  3]  2.0- 3.0 sec  1.19 MBytes  10.0 Mbits/sec
[  3]  3.0- 4.0 sec  1.19 MBytes  10.0 Mbits/sec
[  3]  0.0- 5.0 sec  5.96 MBytes  10.0 Mbits/sec
[  3] Sent 4252 datagrams
[  3] Server Report:
[  3]  0.0- 5.3 sec  2.98 MBytes  4.77 Mbits/sec  15.646 ms 2125/ 4253 (50%)

// 观察ns2网络命名空间带宽，约为5M/s，符合预期
# ip netns exec ns2 iperf -s -p 5566 -i 1 -u 
------------------------------------------------------------
Server listening on UDP port 5566
Receiving 1470 byte datagrams
UDP buffer size:  208 KByte (default)
------------------------------------------------------------
[  3] local 1.1.1.2 port 5566 connected with 1.1.1.1 port 44151
[ ID] Interval       Transfer     Bandwidth        Jitter   Lost/Total Datagrams
[  3]  0.0- 1.0 sec   659 KBytes  5.40 Mbits/sec   0.003 ms  392/  851 (46%)
[  3]  1.0- 2.0 sec   599 KBytes  4.90 Mbits/sec   0.003 ms  433/  850 (51%)
[  3]  2.0- 3.0 sec   600 KBytes  4.92 Mbits/sec   0.002 ms  434/  852 (51%)
[  3]  3.0- 4.0 sec   599 KBytes  4.90 Mbits/sec   0.003 ms  433/  850 (51%)
[  3]  4.0- 5.0 sec   599 KBytes  4.90 Mbits/sec  15.647 ms  433/  850 (51%)
[  3]  0.0- 5.3 sec  2.98 MBytes  4.77 Mbits/sec  15.647 ms 2125/ 4253 (50%)
端口镜像

端口镜像是交换机的标准功能之一，ovs虚拟交换机也支持该功能。端口镜像简单来说就是把一个端口的报文拷贝到另一个端口，可以用来实现流量监控等功能。

在这里插入图片描述

如上图所示，我们再增加一个网络命名空间ns3和一个veth pair，使得ns3网络命名空间可以看到ns1访问ns2的数据包：

// 初始化ns3网络命名空间和veth pair(ns3网络命名空间下的veth32暂时可以不用配置ip)，并把veth pair一端插到ovs交换机上
# ip netns add ns3
# ip link add veth31 type veth peer name veth32
# ip link set veth32 netns ns3
# ip link set veth31 up
# ip netns exec ns3 ip link set veth32 up
# ovs-vsctl add-port sw1 veth31

// 创建端口镜像
# ovs-vsctl -- --id=@p2 get port veth21 \
-- --id=@p3 get port veth31 \
-- --id=@m create mirror name=m0 select_dst_port=@p2 output_port=@p3 \
-- set bridge sw1 mirrors=@m
267f272d-3f7d-4ef0-904e-c191723d23c7

// 查看端口镜像
# ovs-vsctl list mirror
_uuid               : 267f272d-3f7d-4ef0-904e-c191723d23c7
external_ids        : {}
name                : m0
output_port         : 459c141d-0e4a-4ed1-a37a-4615516df1e3
output_vlan         : []
select_all          : false
select_dst_port     : [35c25f4a-ea72-4003-87a5-87bbd076ee56]
select_src_port     : []
select_vlan         : []
snaplen             : []
statistics          : {tx_bytes=0, tx_packets=0}

ns1网络命名空间ping ns2网络命名空间，查看ns3网络命名空间是否能抓到数据包：

// ns1网络命名空间下ping
# ip netns exec ns1 ping -c 1 1.1.1.2
PING 1.1.1.2 (1.1.1.2) 56(84) bytes of data.
64 bytes from 1.1.1.2: icmp_seq=1 ttl=64 time=0.320 ms
--- 1.1.1.2 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 0.320/0.320/0.320/0.000 ms

// ns2网络命名空间抓包
# ip netns exec ns2 tcpdump -i veth21 -n icmp
tcpdump: veth21: No such device exists
(SIOCGIFHWADDR: No such device)
[root@VM-12-7-centos ~]# ip netns exec ns2 tcpdump -i veth22 -n icmp
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on veth22, link-type EN10MB (Ethernet), capture size 262144 bytes
17:02:17.637835 IP 1.1.1.1 > 1.1.1.2: ICMP echo request, id 4309, seq 1, length 64
17:02:17.637870 IP 1.1.1.2 > 1.1.1.1: ICMP echo reply, id 4309, seq 1, length 64

// ns3网络命名空间抓包
# ip netns exec ns3 tcpdump -i veth32 -n icmp
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on veth32, link-type EN10MB (Ethernet), capture size 262144 bytes
17:02:17.637836 IP 1.1.1.1 > 1.1.1.2: ICMP echo request, id 4309, seq 1, length 64

注意ns3网络命名空间只有ns1->ns2的包，没有ns->ns1的包，这是因为mirror配置的规则是select_dst_port=@p2 output_port=@p3。

总结

相比于其它虚拟交换机/网桥（例如docker0和普通的linux bridge），ovs有着更加丰富的功能和生态，目前在openstack和kubernetes容器网络（ovn-kubernetes、kube-ovn）都能看到它的身影。本文仅仅简单介绍了ovs的基本原理和单机使用，后续会更新ovs跨主机隧道通信和ovn/ovs等内容，敬请期待。

微信公众号卡巴斯同步发布，欢迎大家关注。

nuczzz
关注
  • 2
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
openvswitch的原理分析.docx
02-01
深入介绍了OVS的原理和源代码结构。将网络上的文章片段中的图片全部补齐。
OVS的作用OVS 总体架构、源码结构及数据流程全面解析
nb_zsy的博客
08-10 7310
为什么要有OVS 1）方便网络管理与监控。OVS 的引入，可以方便管理员对整套云环境中的网络状态和数据流量进行监控，比如可以分析网络中流淌的数据包是来自哪个 VM、哪个 OS 及哪个用户，这些都可以借助 OVS 提供的工具来达到。 2）加速数据包的寻路与转发。相比 Bridge 单纯的基于 MAC 地址学习的转发规则，OVS 引入流缓存的机制，可以加快数据包的转发效率。 3）基于 SDN 控制面与数据面分离的思想。上面两点其实都跟这一点有关，OVS 控制面负责流表的学习与下发，具体的转发动作则有数据面来完成
ovs简介
lingshengxiyou的博客
01-09 1438
如果根据struct dpif_flow的ufid找不到流的ukey则需要为其创建一个ukey_create_from_dpif_flow(udpif, flow, &ukey) -> ukey_create__()struct udpif_key的内容绝大部分来自于struct dpif_flow，比如key/mask/actions/ufid/pmd_id/keybuf/maskbuf/stats，但是actions翻译时需要用到的ukey->xcache被置为空。对应的坏处是upcall响应比较慢。
OVS流表分析
weixin_60043341的博客
08-10 3048
在具体介绍OVS的工作机制之前，读者要先理解OVS并不是Neutron网络实现的唯一选择。实际上，Neutron中底层网络的实现千差万别：有的agent本地是真正处理数据流的网络设备（OVS，Router，LoadBalancer等），而有的agent本地是SDN控制器（如ODL、ONOS、OpenContrail、NSX等）。上述Neutron底层网络的两种模型示意如下。第一种模型中Neutron相当于SDN控制器，plugin与agent间的通信机制（如rpc）就相当于简单的南向协议。第二种模型中Neu
OVS框架以及源码笔记1
nb_zsy的博客
08-09 2036
引言 是基于2.3.90的版本 1.OVS网络架构 OVS全名字Openvswitch，是一个虚拟交换机，支持Open Flow协议，被远端的controller通过Open Flow协议统一管理着，从而实现对接入的虚拟机（或设备）镜像组网和互通，整体组网结构如下： 2.OVS内部架构 ovs-vswitchd 是主要模块，实现vswitch的守护进程daemon ovsdb-server 是轻量级数据库服务器，用于ovs的配置信息 ovs-vsctl通过和ovsdb-server通信，查询和更新v
OVS原理（四十二）
bob的博客
05-18 5276
OVS原理 OVS架构 ovs的架构如上图所示，主要由内核datapath和用户空间的vswitchd、ovsdb组成。 主要模块职责 datapath是负责数据交换的内核模块，其从网口读取数据，并快速匹配Flowtable中的流表项，成功的直接转发，失败的上交vswitchd处理。它在初始化和port binding的时候注册钩子函数，把端口的报文处理接管到内核模块。 vswitchd是一个守护进程，是ovs的管理和控制服务，通过unix socket将配置信息保存到ovsdb，并通过netlink
OVS简介
weixin_60043341的博客
08-10 6355
每个数据路径也通过关联一下流表（flow table）来设置操作，而这些流表中的流都是用户空间在报文头和元数据的基础上映射的关键信息，一般的操作都是将数据包转发到另一个vport。：利用软件的方式形成交换部件，所以也叫软件交换机，跟传统的物理交换机相比，虚拟交换机要具备很多优点：1.配置灵活，因为是软件实现的，一台物理服务器上可以配置数十台或者数百台虚拟交换机，而且端口数目可以灵活选择 2. 成本低廉，通过软件的方式可轻易达到10Gbps的交换速度。有了全局的概念后，我们来详细了解OVS的内部组件。...
网络虚拟化介绍（OVS、DVS）
m0_49864110的博客
11-08 3169
网络虚拟化概念网络虚拟化就是把网络层的一些功能从硬件中剥离出来，建立新的网络虚拟层；该虚拟层可以接管网络服务和配置，实现网络服务与物理层的解耦，打破物理资源限制；通过网络虚拟层能够在一个物理网络上模拟出多个逻辑网络，并且多用户在逻辑网络上相互隔离，保证网络安全网络虚拟化的特点隔离性：不同租户的流量相互之间不能互访；但是IP/MAC地址都可以独立规划可移动性：虚拟机可以跨二层/三层迁移，甚至可以跨广域网迁移（迁移前后虚拟机Vlan和IP地址都不会发生变化）可扩展性：逻辑网络的规模和数量可扩展。
Open vSwitch（OVS虚拟交换机）
weiyuexin的博客
08-01 2516
在Open vSwitch（OVS）中，“port"是指物理或逻辑网络设备的接口，用于连接虚拟交换机与外部网络或其他虚拟机。3.假设数据包是这个网络设备发来的第一个数据包，在OVS内核中，将不会有相应的流表缓存信息存在，那么内核将不会知道如何处置这个数据包。端口在OVS中起到了关键的作用，它们允许虚拟机、物理设备和其他网络组件之间的通信和互联。总体而言，Open vSwitch 提供了一种灵活、可扩展的虚拟交换机解决方案，适用于构建虚拟化环境和软件定义网络，提供了高级网络功能和集中管理的能力。
ovs命令行手册
11-19
ovs的命令行手册详细说明，内容很全，解释很详细，推荐。
OVS 入门教程
07-17
从工程角度实验角度和了解原理角度进行讲解，不紧包括非常好的原理简介，图表，以及包含OVS架构，支持的多种Flow原理和流表转发，还有很多实验以供进一步加强学习。
ovs bond脚本
09-20
openvswitch bond脚本，当两个网卡需要做ovs的时候，可以使用这个脚本
ovs相关博客
01-20
OVS常用命令与使用总结 https://blog.csdn.net/rocson001/article/details/73163041 ovs之组网实验 https://www.cnblogs.com/mrwuzs/p/10242737.html   Openv Switch 完全使用手册 https://blog.csd
ovs-2.8.0 源码
10-20
ovs-2.8.0 源码，Open vSwitch is a production quality, multilayer virtual switch licensed under the open source Apache 2.0 license.
FR-TSN4206获得“时间敏感网络产业链名录计划”测试认证证书，TSN交换机助力智能工业发展
最新发布
fiberroad的博客
04-30 333
TSN技术，即时间敏感网络技术，已成为智能工业、自动驾驶等领域的核心。它通过时钟同步、数据调度等功能，确保低延迟、高可靠性的数据传输。为推动TSN技术在我国的发展，工业互联网产业联盟联合多家单位启动了“时间敏感网络产业链名录计划”。光路科技的FR-TSN4206交换机成功通过该计划认证
java线上问题排查之磁盘和网络查看分析（二）
wayne_youlu的博客
04-30 328
overflowed 标识全连接队列溢出的次数,最前面是0，标识没有队列溢出的情况，网络环境正常。来查看网络是否连接。如果出现下图内容，则证明网络已经连接。
前端调用WebSocket协议接口获取数据
m0_56023096的博客
04-29 264
createWs("测试数据", (res) => {
万兆以太网MAC设计（11）完整UDP协议栈仿真
m0_56222647的博客
04-28 1067
目前除了巨帧处理逻辑之外，所有的准备工作都已经结束了，先进行整体的功能验证。
openstack ovs原理
07-15
OpenStack是一个开源的云计算平台，其中的网络功能模块使用Open vSwitch（OVS）作为虚拟交换机。OVS是一个基于软件的虚拟交换机，它可以替代物理交换机来提供网络连通性。 OVS有两个主要组成部分：数据路径和控制路径。数据路径是负责转发数据包的部分，它直接与网络流量交互。控制路径是负责配置和管理数据路径的部分，它与OpenStack的网络控制器进行交互。 在OpenStack中，当一个虚拟机启动时，一个虚拟网卡会附加到它的虚拟机上。当虚拟机需要与其他虚拟机或外部网络通信时，数据包将被发送到OVS。OVS通过数据路径将数据包转发到正确的虚拟机或外部网络。 控制路径负责管理数据路径。当OpenStack的网络控制器需要创建或修改虚拟网络时，它会与OVS的控制路径进行交互。控制路径将根据控制器的指示配置数据路径，以确保网络连接的正确性和安全性。 总的来说，OVS在OpenStack中起到了关键作用，它能够提供虚拟网络连接，保证网络的可靠性和安全性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值