启用 SR-IOV 解决 Neutron 网络 I/O 性能瓶颈

最新推荐文章于 2023-07-12 15:50:47 发布
最新推荐文章于 2023-07-12 15:50:47 发布
阅读量982 收藏 3
点赞数
文章标签： 运维 操作系统 awk
原文链接：http://www.cnblogs.com/jmilkfan-fanguiju/p/10589724.html
版权

目录

文章目录

前言

该文章是基于「计算机系统应用」月刊文章《SR-IOV 技术在 OpenStack 中的应用》的学习、扩展与整理，感谢作者分享。

官方网站：https://wiki.openstack.org/wiki/SR-IOV-Passthrough-For-Networking

Neutron 的网络实现模型

Neutron 的网络实现模型，即 Neutron 为了支撑上层抽象的网络资源模型（e.g. Network、Subnet、Port、Router etc.）所实现的底层网元（e.g. Linux Bridge、Open vSwitch、LAN Device etc.）依赖。

  • 计算节点网络实现模型
    在这里插入图片描述

  • 网络节点网络实现模型
    在这里插入图片描述

  • Neutron 的整体网络实现模型
    在这里插入图片描述
    在这里插入图片描述

基于虚拟网络设备的虚拟机流量走向

在这里插入图片描述
虚拟机 1 存在于计算节点 1 上，虚拟机 4 存在于计算节点 2 上，并且虚拟机 1 和虚拟机 4 属于同一个租户网络的同一个子网内，两者之间的数据通信将会经过连接到计算机点 1 与计算节点 2 的物理交换机上进行传输。当虚拟机 1 想发送一个报文给位于不同计算节点上的虚拟机 4 时, 首先会发送一个 ARP 广播报文来确定虚拟机 4 的 MAC 地址。该 ARP 广播报文会通过 Tap 设备以及 qbr 网桥，然后被计算节点 1 上的虚拟交换机 br-int 转发到所有与 br-int 相连的接口上。当广播报文经过计算节点 1 上 br-ethx 时，会被带上一个外部 Vlan id（内外 VLAN ID 转换，为了防止 VxLAN 类型网络与 VLan 类型网络混杂平面场景中出现 VLAN ID 冲突，所以无论是 VLAN 还是 VxLAN 的网络包杂经过 br-int 或 br-tun 网桥时会进行内外部 VLAN ID 转换，通过 Neutron 的算法逻辑来确保避免 VLAN ID 冲突的发生。）。需要注意的是，同一租户的相同网络里所有的虚拟机发出与接收的报文都会带有相同的外部 Vlan id，因此该 ARP 报文会被物理交换机转发到所有其他节点上。当 ARP 报文到达计算节点 2 上时，该数据报文的 Vlan id 会在虚拟交换机 br-int 上被转换成对应的内部 Vlan id，并被广播到所有与 br-int 所连的接口上，最后虚拟机 4 会应答该 ARP 广播。当 虚拟机 1 知道虚拟机 4 的 MAC 地址后，就可以直接与 虚拟机 4 进行数据通信了。

Neutron 网络实现模型的性能瓶颈

上文可知，Neutron 会在计算节点上创建大量的虚拟网络设备（e.g. Tap、veth、qbr、br-int、br-ethx etc.)，这些虚拟网络设备的建立和运行会给云平台上的计算节点带了很大的 CPU 开销，加上这些虚拟网络设备本身存在一定的缺陷和性能瓶颈，会极大地减少计算节点上的网络带宽（e.g. 使用一般的英特尔 82599ES 万兆网卡，那么该计算节点最大的网络 I/O 吞吐量可能只能达到 5~6 Gbps 左右）。因此寻找一种更加优秀的 I/O 虚拟化方案来替代目前 Neutron 实现虚拟化网络的方式，有可能解决 OpenStack 云平台网络 I/O 性能瓶颈问题。

SR-IOV 技术简介

SR-IOV（Single-Root I/O Virtualization，单根 I/O 虚拟化）技术是一种基于物理硬件的虚拟化解决方案，可以提高物理 I/O 设备（e.g. 网络适配器）的性能与可扩展性。SR-IOV 技术允许在虚拟机之间高效共享 PCIe（Peripheral Component Interconnect Express，快速外设组件互连）设备，由于 SR-IOV 技术是基于硬件实现的，可以使虚拟机获得与宿主机媲美的 I/O 性能。

SR-IOV 规范（由 PCI-SIG 在 http://www.pcisig.com 上进行定义和维护）定义了一 种虚拟化 PCIe 设备的标准机制，启用了 SR-IOV 并且具有适当的硬件和 OS 支持的 PCIe 设备（e.g. 以太网端口）可以显示为多个单独的物理设备（虚拟成多个 PCIe 设备，每个都具有自己的 PCIe 配置空间）。SR-IOV 定义了两种功能类型：

  • 物理功能（Physical Function，PF）：PF 包含 SR-IOV 的功能结构，用于支持和管理 SR-IOV 的 PCI 功能。PF 是全功能的 PCIe，可以像其他任何 PCIe 设备一样进行发现、管理和处理。PF 拥有完全配置和控制 PCIe 设备资源的能力。

  • 虚拟功能（Virtual Function，VF）：VF 是一种轻量级 PCIe 功能，VF 可以与 PF 以及与同一 PF 相关联的其他 VF 共享一个或多个物理资源。VF 仅允许拥有用于其自身行为的配置资源。

NIC SR-IOV：
在这里插入图片描述

光纤 SR-IOV：
在这里插入图片描述

每个 SR-IOV 设备都可有一个 PF，每个 PF 最多可有 64,000 个与其关联的 VF。缺省情况下，SR-IOV 功能处于禁用状态，PF 充当传统 PCIe 设备。PF 可以通过寄存器创建 VF，一旦在 PF 中启用了 SR-IOV，就可以通过 PF 的总线、设备和功能编号（路由 ID）访问各个 VF 的 PCI 配置空间。每个 VF 都具有一个 PCI 内存空间，用于映射其寄存器集。VF 设备驱动程序对寄存器集进行操作以启用其功能，并且显示为实际存在的 PCI 设备。创建 VF 后，用户可以直接将每个 VF 直接分配给虚拟机，绕过虚拟机监控层（VMM），从而实现低延时和近线速。

SR-IOV 的优点：

  • 性能：从虚拟机环境直接访问硬件。
  • 成本降低：
    • 节能
    • 减少了适配器数量
    • 简化了布线
    • 减少了交换机端口

注：

  • PCI（Peripheral Component Interconnect）：符合 PCI 总线标准的设备就被称为 PCI 设备，PCI 总线架构中可以包含多个 PCI 设备。
  • PCIe（Peripheral Component Interconnect Express）：PCI Express，简称 PCI-E，是电脑总线 PCI 的一种，它沿用了现有的 PCI 编程概念及通讯标准，但建基于更快的串行通信系统。是 Intel 提出的新一代的总线接口，PCI Express 采用了目前业内流行的点对点串行连接，比起 PCI 以及更早期的计算机总线的共享并行架构每个 PCIe 设备都有自己的专用连接，不需要向整个总线请求带宽，而且可以把数据传输率提高到一个很高的频率，达到 PCI 所不能提供的高带宽。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
如图，PCI 插槽都是等长的，防呆口位置靠上，大部分都是纯白色。PCIe 插槽大大小小，最小的 x1，最大的 x16，防呆口靠下。

在 Neutron 中引入 SR-IOV 技术

SR-IOV 技术允许将单个物理网络设备同时共享给多台虚拟机，将虚拟机的虚拟端口与支持 SR-IOV 功能的物理网卡上所虚拟出来的虚拟功能 VF 相关联，这样不仅可以实现对物理网卡的共享，同时不再需要 Neutron 组件额外地去创建 Tap 设备、qbr 网桥以及 OVS 虚拟交换机，使虚拟机的流量绕过 Neutron 所创建的虚拟网络设备，直接到达物理网卡上，极大地减少了计算机点上的 CPU 开销。而且虚拟机数据处理逻辑跳过了计算节点的虚拟网络设备，由物理网卡决定数据如何处理，从而进一步释放了计算节点的 CPU 资源。这 种方式使得虚拟机达到近线速的性能，并且不需要为每台虚拟机单独去分配独立的物理网卡端口。在 Neutron 中引入 SR-IOV 技术，经测试得出的结论是：在数据包需要经过了多个物理服务器节点，在网卡上有真正的发包与收包过程的情况下，网络的 I/O 吞吐量可以达到的极限值约 9.4Gbit/sec，与该网卡的理论速率 10Gbit/sec 已经非常接近了。可见，SR-IOV 解决了 Neutron 在计算节点上的网络 I/O 性能瓶颈问题。但是对网络节点的网络 I/O 性能瓶颈却及就没有太大的影响。想要解决这个问题，还需要继续引入 DVR 技术或者是 DPDK 等技术才能实现，这里暂不展开。

基于 SR-IOV 技术的虚拟机流量走向

在这里插入图片描述
虚拟机 1 处于计算节点 1 上，虚拟机 4 处于计算节点 2 上，两台虚拟机属于同一租户下同一网段内。两台计算节点上均有一张带有 SR-IOV 功能的物理网卡，其中虚拟网卡功能 VF1 是分配给虚拟机 1 的，虚拟网卡功能 VF4 是分配给虚拟机 4 的。 虚拟机所发出的报文会直接发送到与虚拟机相关联的 VF 上，然后由物理网卡来决定如何对数据报文进行处理。在图 3 中可以看到，从虚拟机 1 发出的报文直接发送到 VF1 上，然后此报文经过物理网卡的处理后流入到物理交换机上，通过物理交换机到达计算节点 2 上，最终到达虚拟机 4。

NOTE：与传统 Neutron 组件中 Linux 网桥和 OVS 虚拟交换机方式相比，在计算节点内部没有了网桥 qbr 和虚拟交换机 br-int与 br-ethx 等虚拟设备，虚拟机的数据报文直接通过 VF 传到了物理网卡上。

Neutron 配置启用 SR-IOV

官方文档：https://docs.openstack.org/newton/networking-guide/config-sriov.html

Step 1. Ensure SR-IOV and VT-d are enabled in BIOS.

Step 2. Enable IOMMU in Linux by adding intel_iommu=on to the kernel parameters, for example, using GRUB.

...
linux16 /boot/vmlinuz-3.10.0-862.11.6.rt56.819.el7.x86_64 root=LABEL=img-rootfs ro console=tty0 console=ttyS0,115200n8 crashkernel=auto rhgb quiet intel_iommu=on iommu=pt isolcpus=2-3,8-9 nohz=on nohz_full=2-3,8-9 rcu_nocbs=2-3,8-9 intel_pstate=disable nosoftlockup default_hugepagesz=1G hugepagesz=1G hugepages=16 LANG=en_US.UTF-8
...

Step 3. On each compute node, create the VFs via the PCI SYS interface(e.g. enp129s0f0, enp129s0f1).

[root@overcloud-compute-0 ~]# cat /etc/sysconfig/network-scripts/ifcfg-enp129s0f0
DEVICE="enp129s0f0"
BOOTPROTO="dhcp"
ONBOOT="yes"
TYPE="Ethernet"
[root@overcloud-compute-0 ~]# cat /etc/sysconfig/network-scripts/ifcfg-enp129s0f1
DEVICE="enp129s0f1"
BOOTPROTO="dhcp"
ONBOOT="yes"
TYPE="Ethernet"

[root@overcloud-compute-0 nova]# echo 16 > /sys/class/net/enp129s0f0/device/sriov_numvfs
[root@overcloud-compute-0 nova]# echo 16 > /sys/class/net/enp129s0f1/device/sriov_numvfs

Step 4. Verify that the VFs have been created and are in up state.

[root@overcloud-compute-0 ~]# lspci | grep Ethernet
03:00.0 Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01)
03:00.1 Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01)
81:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)
81:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)
81:10.0 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:10.1 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:10.2 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:10.3 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:10.4 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:10.5 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:10.6 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:10.7 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:11.0 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:11.1 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:11.2 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:11.3 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:11.4 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:11.5 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:11.6 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:11.7 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:12.0 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:12.1 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:12.2 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:12.3 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:12.4 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:12.5 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:12.6 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:12.7 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:13.0 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:13.1 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:13.2 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:13.3 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:13.4 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:13.5 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:13.6 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
81:13.7 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)

[root@overcloud-compute-0 ~]# ip link show enp129s0f0
4: enp129s0f0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT group default qlen 1000
    link/ether 90:e2:ba:34:fb:32 brd ff:ff:ff:ff:ff:ff
    vf 0 MAC be:40:5c:21:98:31, spoof checking on, link-state auto, trust off, query_rss off
    vf 1 MAC b2:e9:21:c7:4a:e0, spoof checking on, link-state auto, trust off, query_rss off
    vf 2 MAC ae:75:99:e3:dc:1d, spoof checking on, link-state auto, trust off, query_rss off
    vf 3 MAC 66:73:75:d7:15:a8, spoof checking on, link-state auto, trust off, query_rss off
    vf 4 MAC b6:04:f7:ed:ad:36, spoof checking on, link-state auto, trust off, query_rss off
    vf 5 MAC a2:ad:62:61:2a:bd, spoof checking on, link-state auto, trust off, query_rss off
    vf 6 MAC 1a:be:5b:ab:b9:fd, spoof checking on, link-state auto, trust off, query_rss off
    vf 7 MAC 3a:63:44:d9:8f:44, spoof checking on, link-state auto, trust off, query_rss off
    vf 8 MAC 7e:fe:c7:f6:9d:5d, spoof checking on, link-state auto, trust off, query_rss off
    vf 9 MAC 4a:e9:57:84:50:29, spoof checking on, link-state auto, trust off, query_rss off
    vf 10 MAC 0a:a7:e7:ff:ee:c8, spoof checking on, link-state auto, trust off, query_rss off
    vf 11 MAC 02:58:45:61:15:a7, spoof checking on, link-state auto, trust off, query_rss off
    vf 12 MAC 2a:75:77:ff:c1:6d, spoof checking on, link-state auto, trust off, query_rss off
    vf 13 MAC be:99:4d:22:5a:87, spoof checking on, link-state auto, trust off, query_rss off
    vf 14 MAC 52:44:5f:d7:fb:e3, spoof checking on, link-state auto, trust off, query_rss off
    vf 15 MAC b2:16:c3:a2:5f:c7, spoof checking on, link-state auto, trust off, query_rss off
[root@overcloud-compute-0 ~]# ip link show enp129s0f1
5: enp129s0f1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT group default qlen 1000
    link/ether 90:e2:ba:34:fb:33 brd ff:ff:ff:ff:ff:ff
    vf 0 MAC 86:64:1f:09:bb:d5, spoof checking on, link-state auto, trust off, query_rss off
    vf 1 MAC a2:0f:71:30:31:31, spoof checking on, link-state auto, trust off, query_rss off
    vf 2 MAC 0e:b1:06:54:3f:75, spoof checking on, link-state auto, trust off, query_rss off
    vf 3 MAC ca:35:be:e2:ea:70, spoof checking on, link-state auto, trust off, query_rss off
    vf 4 MAC 26:35:04:86:42:50, spoof checking on, link-state auto, trust off, query_rss off
    vf 5 MAC e2:fe:00:1a:74:f7, spoof checking on, link-state auto, trust off, query_rss off
    vf 6 MAC 6a:ef:8b:61:a6:c0, spoof checking on, link-state auto, trust off, query_rss off
    vf 7 MAC fa:61:e2:f9:a1:2d, spoof checking on, link-state auto, trust off, query_rss off
    vf 8 MAC 16:8c:47:34:61:03, spoof checking on, link-state auto, trust off, query_rss off
    vf 9 MAC f6:85:2d:85:8e:a3, spoof checking on, link-state auto, trust off, query_rss off
    vf 10 MAC 0e:4b:d8:0a:9a:7f, spoof checking on, link-state auto, trust off, query_rss off
    vf 11 MAC f2:27:a6:ee:da:be, spoof checking on, link-state auto, trust off, query_rss off
    vf 12 MAC 82:37:55:7f:cd:19, spoof checking on, link-state auto, trust off, query_rss off
    vf 13 MAC 2e:30:e1:3b:c1:a1, spoof checking on, link-state auto, trust off, query_rss off
    vf 14 MAC 4e:56:c7:3f:e5:77, spoof checking on, link-state auto, trust off, query_rss off
    vf 15 MAC 56:21:25:bd:ac:18, spoof checking on, link-state auto, trust off, query_rss off

NOTE: If the interfaces are down, set them to up before launching a guest, otherwise the instance will fail to spawn.

ip link set <interface> up

Step 5. Persist created VFs on reboot

echo "echo '7' > /sys/class/net/eth3/device/sriov_numvfs" >> /etc/rc.local

Step 6. Configure neutron-server (Controller)

# 修改配置
# /etc/neutron/plugins/ml2/ml2_conf.ini
[ml2]
...
mechanism_drivers = openvswitch,sriovnicswitch

[ml2_type_flat]
flat_networks = datacentre,sriov1

[ml2_type_vlan]
network_vlan_ranges =datacentre:1:29,sriov1:1:29

# 可选配置
[ml2_sriov]
supported_pci_vonder_devs=8086:10ed
agent_required = True

# 重启 neutron-server service
systemctl restart neutron-server.service

NOTE 1：8086:10ed 通过指令 lspci -nn | grep Ethe 查看。
NOTE 2：编辑 [ml2_type_flat] 和 [ml2_type_vlan] 追加 sriov1 Lable 是因为 SR-IOV Network 需要为 Flat 或者 VLAN 类型，这两个类型的网络需要能够通过 sriov1 Lable 找到对应的 physical network device mappings，如下文。

Step 7. Enable neutron sriov-agent (Compute)

# 修改配置，Label 为 sriov1
# /etc/neutron/plugins/ml2/sriov_agent.ini
[sriov_nic]
...
physical_device_mappings = sriov1:enp129s0f0,sriov1:enp129s0f1
exclude_devices =

[securitygroup]
firewall_driver = neutron.agent.firewall.NoopFirewallDriver

# 可选，排除 VF
# exclude_devices = enp129s0f0:0000:07:00.2; 0000:07:00.3, enp129s0f1:0000:05:00.1; 0000:05:00.2

# 启动 sriovagent service
systemctl enable neutron-sriov-nic-agent.service
systemctl start neutron-sriov-nic-agent.service
# OR
neutron-sriov-nic-agent \
  --config-file /etc/neutron/neutron.conf \
  --config-file /etc/neutron/plugins/ml2/sriov_agent.ini

Step 8. Configure nova-scheduler (Controller)

# 修改配置
# /etc/nova/nova.conf
[DEFAULT]
...
scheduler_default_filters=...,PciPassthroughFilter
scheduler_available_filters = nova.scheduler.filters.all_filters

# 重启 nova-compute service
systemctl restart openstack-nova-scheduler

Step 9. Whitelist PCI devices nova-compute (Compute)

# 修改配置
# /etc/nova/nova.conf
[DEFAULT]
...
pci_passthrough_whitelist=[{"devname": "enp129s0f0", "physical_network": "sriov1"},{"devname": "enp129s0f1", "physical_network": "sriov1"}]
# OR
pci_passthrough_whitelist={"devname": "enp129s0f0", "physical_network": "sriov1"}
pci_passthrough_whitelist={"devname": "enp129s0f1", "physical_network": "sriov1"}

# 重启 nova-compute service
systemctl restart openstack-nova-compute

NOTE. pci_passthrough_whitelist 的格式如下：

["device_id": "<id>",] ["product_id": "<id>",]
["address": "[[[[<domain>]:]<bus>]:][<slot>][.[<function>]]" |
"devname": "Ethernet Interface Name",]
"physical_network":"Network label string"
  • id：id 的值可以是通配符（*），或一个有效的 device/product id。可以使用 lspci 列出有效的设备名。
  • address：address 的格式与使用带有 -s 选项的 lspci 命令输出中的格式相同。
  • devname：devname 是一个有效的 PCI 设备名称。可以使用 ifconfig -a 列出全部有效的名称。这个项需要和与一个 vNIC 相关联的 PF 或 VF 值相对应。如果设备由代表一个 SR-IOV PF 的地址或 devname 来定义，则 PF 下的所有 VF 必须和这个项匹配。另外，可以把 0 个或多个 tag 关联到一个项。
  • physical_network：在使用 SR-IOV 网络时，“physical_network” 被用来指定设备附加到的物理网络。

Step 10. Launching instances with SR-IOV ports.

  • create SR-IOV Network
    在这里插入图片描述
  • Create SR-IOV subnet
    在这里插入图片描述
  • Create SR-IOV Port
[root@overcloud-controller-0 ~]# net_id=`neutron net-show sriov-net | grep "\ id\ " | awk '{ print $4 }'`
[root@overcloud-controller-0 ~]# port_id=`neutron port-create $net_id --name sriov_port --binding:vnic_type direct | grep "\ id\ " | awk '{ print $4 }'`
  • Launch SR-IOV Instance
[root@overcloud-controller-0 ~]# nova boot --flavor 2U2G --image centos7-1809-99cloud --nic port-id=$port_id test-sriov
+--------------------------------------+-------------------------------------------------------------+
| Property                             | Value                                                       |
+--------------------------------------+-------------------------------------------------------------+
| OS-DCF:diskConfig                    | MANUAL                                                      |
| OS-EXT-AZ:availability_zone          |                                                             |
| OS-EXT-SRV-ATTR:host                 | -                                                           |
| OS-EXT-SRV-ATTR:hostname             | test-sriov                                                  |
| OS-EXT-SRV-ATTR:hypervisor_hostname  | -                                                           |
| OS-EXT-SRV-ATTR:instance_name        |                                                             |
| OS-EXT-SRV-ATTR:kernel_id            |                                                             |
| OS-EXT-SRV-ATTR:launch_index         | 0                                                           |
| OS-EXT-SRV-ATTR:ramdisk_id           |                                                             |
| OS-EXT-SRV-ATTR:reservation_id       | r-77xg8wl5                                                  |
| OS-EXT-SRV-ATTR:root_device_name     | -                                                           |
| OS-EXT-SRV-ATTR:user_data            | -                                                           |
| OS-EXT-STS:power_state               | 0                                                           |
| OS-EXT-STS:task_state                | scheduling                                                  |
| OS-EXT-STS:vm_state                  | building                                                    |
| OS-SRV-USG:launched_at               | -                                                           |
| OS-SRV-USG:terminated_at             | -                                                           |
| accessIPv4                           |                                                             |
| accessIPv6                           |                                                             |
| adminPass                            | LP3xn44XuSVf                                                |
| config_drive                         |                                                             |
| created                              | 2019-02-20T12:30:43Z                                        |
| description                          | -                                                           |
| flavor                               | 2U2G (2644205c-b98c-407d-af57-33c90895b18e)                 |
| hostId                               |                                                             |
| host_status                          |                                                             |
| id                                   | 0288fcd6-d75a-45c0-9cc0-4f31ca56ca45                        |
| image                                | centos7-1809-99cloud (fa9755a4-b51a-4c32-aa91-49678298c515) |
| key_name                             | -                                                           |
| locked                               | False                                                       |
| metadata                             | {}                                                          |
| name                                 | test-sriov                                                  |
| os-extended-volumes:volumes_attached | []                                                          |
| progress                             | 0                                                           |
| security_groups                      | default                                                     |
| status                               | BUILD                                                       |
| tags                                 | []                                                          |
| tenant_id                            | f745745cebce4a609f074b0121ae3a53                            |
| updated                              | 2019-02-20T12:30:43Z                                        |
| user_id                              | 11b816e454384d038472c7c89d2544f4                            |
+--------------------------------------+-------------------------------------------------------------+

查看 SR-IOV Instance 的 XML：

  <devices>
...
    <interface type='hostdev' managed='yes'>
      <mac address='fa:16:3e:ff:8b:bc'/>
      <driver name='vfio'/>
      <source>
        <address type='pci' domain='0x0000' bus='0x81' slot='0x13' function='0x7'/>
      </source>
      <vlan>
        <tag id='20'/>
      </vlan>
      <alias name='hostdev0'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
    </interface>
...

查看 SR-IOV Instance 的网卡信息：

在这里插入图片描述
查看 VF 的使用信息：

[root@overcloud-compute-0 ~]# ip link show enp129s0f1
5: enp129s0f1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT group default qlen 1000
    link/ether 90:e2:ba:34:fb:33 brd ff:ff:ff:ff:ff:ff
...
    vf 15 MAC fa:16:3e:ff:8b:bc, vlan 20, spoof checking on, link-state auto, trust off, query_rss off

NOTE：VF 的 MAC 就是 SR-IOV instance ens4 的 MAC。

SR-IOV 与 NUMA 亲和

众所周知，SR-IOV 网卡也是具有 NUMA 亲和特性的，可以通过下述方式进行查看和修改。

[root@overcloud-compute-0 ~]# cat /sys/class/net/enp129s0f0/device/numa_node
1

# SR-IOV 网卡 enp129s0f0 所属于 NUMA Node 1

所以 Nova 为了进一步提升虚拟机的网络 I/O 性能，在 Launch instance for SR-IOV Port 时，也会充分考虑 SR-IOV 网卡的 NUMA 亲和特性。如果同时还为虚拟机设置了 NUMA 亲和、CPU 绑核等属性，那么该虚拟机就会运行在与 SR-IOV 网卡相同的 NUMA Node 中。e.g.

openstack port create --network sriov-net --vnic-type direct Port1
openstack flavor create --vcpus 4 --ram 4096 --disk 10 --property hw:cpu_policy=dedicated --property hw:numa_nodes=1 Flavor1
openstack server create --image CentOS_image --flavor Flavor1 --nic port-id={port1_uuid} VM1

查看 VM1 的 vCPU 绑定情况：

virsh vcpupin VM1_uuid

可以看见 VM1 的 4 个 vCPU 都会运行在与 SR-IOV 网卡相同的 NUMA Node 1 上，如果 NUMA Node 1 上的 Processor 分配完了，那么就无法再启动与 VM1 具有相同属性（SR-IOV Port、NUMA Affinity、CPU Binding）的虚拟机了。

SR-IOV 与 VLAN tag

在这里插入图片描述
如上图，SR-IOV Port 的 VLAN tag 不是在 OvS Bridge 上处理的，而是直接在 vf 上打 Tag。e.g.

[root@overcloud-compute-0 yangkai]# ip l |grep 5e:9c
    vf 14 MAC fa:16:3e:90:5e:9c, vlan 19, spoof checking on, link-state auto, trust on, query_rss off

KVM 虚拟机的 XML 文件如下：

<interface type='hostdev' managed='yes'>                                                         
  <mac address=' fa:aa:aa:aa:aa:aa '/>                                                              
  <driver name='kvm'/>                                                                           
  <source>                                                                                       
    <address type='pci' domain='0x0000' bus='0x02' slot='0x00' function='0x7'/>                  
  </source>                                                                                      
  <vlan>                                                                                          
    <tag id='190'/>                                                                              
  </vlan>
  <alias name='hostdev0'/>
  <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
</interface>

而且由于 SR-IOV Network 不会经过 OvS Bridge 也就不存在内外 VID 转换的过程和必要，SR-IOV Network 的 Local VLAN ID 就是租户 VLAN ID。

至于 DHCP 给 SR-IOV 虚拟机分配 IP 的方式和普通情况下是一样的，只要 vf 能打上 VLAN tag，那么该 SR-IOV Network 在网络节点上的 qdhcp-XXX network namesapce 就能够与 SR-IOV 虚拟机通信。
在这里插入图片描述

KVM 与 SR-IOV

在这里插入图片描述

手动挂载 VF 到 Guest

  1. 查看 PCI 设备清单：
[root@overcloud-compute-0 ~]# virsh nodedev-list | grep pci
pci_0000_00_00_0
pci_0000_00_01_0
pci_0000_00_01_1
pci_0000_00_02_0
pci_0000_00_03_0
pci_0000_00_03_2
pci_0000_00_05_0
pci_0000_00_05_2
pci_0000_00_05_4
pci_0000_00_11_0
pci_0000_00_16_0
...
  1. 查看选择的 PCI 设备详情：
[root@overcloud-compute-0 ~]# virsh nodedev-dumpxml pci_0000_81_10_2
<device>
  <name>pci_0000_81_10_2</name>
  <path>/sys/devices/pci0000:80/0000:80:03.0/0000:81:10.2</path>
  <parent>pci_0000_80_03_0</parent>
  <driver>
    <name>ixgbevf</name>
  </driver>
  <capability type='pci'>
    <domain>0</domain>
    <bus>129</bus>
    <slot>16</slot>
    <function>2</function>
    <product id='0x10ed'>82599 Ethernet Controller Virtual Function</product>
    <vendor id='0x8086'>Intel Corporation</vendor>
    <capability type='phys_function'>
      <address domain='0x0000' bus='0x81' slot='0x00' function='0x0'/>
    </capability>
    <iommuGroup number='46'>
      <address domain='0x0000' bus='0x81' slot='0x10' function='0x2'/>
    </iommuGroup>
    <numa node='1'/>
    <pci-express>
      <link validity='cap' port='0' width='0'/>
      <link validity='sta' width='0'/>
    </pci-express>
  </capability>
</device>

NOTE：主要关注 <address domain='0x0000' bus='0x81' slot='0x10' function='0x2'/> 设备信息，e.g.

domain='0x0000'
bus='0x81'
slot='0x10'
function='0x2'

  1. Shut down the guest.

  2. 根据上述设备信息编写 new-dev XML 文件

$ cat /tmp/new-device.xml
<interface type='hostdev' managed='yes'>
   <source>
     <address type='pci' domain='0x0000' bus='0x81' slot='0x10' function='0x2' />
   </source>
</interface>
  1. 将 New Device Attach 到 GuestOS
$ virsh attach-device VM1 /tmp/new-device.xml --live --config
Device attached successfully
  1. 查看 VM1 的 XML 更新
$ virsh dumpxml vm1
 ...
 <devices>
   ...
   <interface type='hostdev' managed='yes'>
      <mac address='52:54:00:f0:d3:b8'/>
      <driver name='kvm'/>
      <source>
        <address type='pci' domain='0x0000' bus='0x81' slot='0x10' function='0x2' />
      </source>
      <alias name='hostdev0'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x07' function='0x0'/>
    </interface>
    ...
  </devices>

NOTE：或者可以直接 Edit 虚拟机的 XML 文件

virsh edit MyGuest

# 添加下述标签端：
<hostdev mode='subsystem' type='pci' managed='yes'>
   <source>
      <address bus='0x81' slot='0x10' function='0x2'/>
   </source>
</hostdev>
  1. 进入 GuestOS 查看网卡信息
root@vm1:~# ip addr show eth4
4: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 2c:53:4a:02:20:3d brd ff:ff:ff:ff:ff:ff
    inet 192.168.99.169/24 brd 192.168.99.255 scope global eth1
       valid_lft forever preferred_lft forever
    inet6 fe80::5054:ff:fe3b:6128/64 scope link 
       valid_lft forever preferred_lft forever
  1. 启动虚拟机
virsh start MyGuest
  1. Dettach 虚拟机的 PCI 设备
$ virsh nodedev-dettach pci_0000_06_10_0
Device pci_0000_06_10_0 detached

参考文档

https://access.redhat.com/documentation/zh-cn/red_hat_enterprise_linux_openstack_platform/7/html/networking_guide/sec-sr-iov
https://docs.openstack.org/newton/networking-guide/config-sriov.html
http://blog.51cto.com/hj192837/1061407
https://docs.openstack.org/newton/networking-guide/config-sriov.html

转载于:https://www.cnblogs.com/jmilkfan-fanguiju/p/10589724.html

weixin_34018202
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
sriov-network-operator:用于配置和配置SR-IOV CNI插件和设备插件的操作员
03-10
sriov网络运营商 Sriov Network Operator旨在帮助用户在Openshift集群中配置和配置SR-IOV CNI插件和设备插件。 动机 SR-IOV网络是Openshift群集的可选功能。 要使其正常工作，需要相应地配置和配置不同的组件。 让一个操作员在一个地方协调这些相关组件，而不是由不同的操作员来管理它们，这是很有意义的。 而且，为了隐藏复杂性，我们应该提供一个优雅的用户界面来简化启用SR-IOV的过程。 特征 在所选节点上初始化支持的SR-IOV NIC类型。 在所选节点上配置/升级SR-IOV设备插件可执行文件。 在所选节点上提供/升级SR-IOV CNI插件可执行文件。 管理主机上SR-IOV设备插件的配置。 为SR-IOV CNI插件生成net-att-def CR 支持虚拟化Kubernetes部署中的操作 发现附加到虚拟机（VM）的VF 不
proxmox服务器网卡直通和SR-IOV
11-29
proxmox 网卡直通教程。intel 万兆网卡的SR-IOV设置。SR-IOV是最新的虚拟网卡直通功能，需要先检查自己的网卡是否支持。
基于FPGA的SR-IOV技术研究与实现.pdf
07-13
基于FPGA的SR-IOV技术研究与实现.pdf
centos7 systemd 开机自启动脚本配置方法 redis开机自启动
OceanWaves1993的博客
03-31 2915
centos7 systemd 开机自启动脚本配置方法 redis开机自启动
虚拟化技术 — SR-IOV 单根 I/O 虚拟化
烟云的计算
04-20 2036
通过标签机制，可以实现 VEB、Director IO 和 VEPA 的混合部署方案，借助多通道技术，管理员可以根据网络安全、性能以及可管理等方面的需求，灵活的选择虚拟机与外部网络的接入方案（VEB、Director IO 或 VEPA）。如下图 Intel x710 VEB 所示，VMM 通过 PF 来管理 VEB 的配置，在启用了 VEB 的场景中，VEB 将 PF 和所有的 VFs 都连接了起来，通过 VF 和 PF 的 MAC 地址以及 VLAN ID 来进行二层转发。
Single Root IO Virtualization (SR-IOV)二：SR-IOV 配置
Go，GO，GO！
07-12 1734
例如，如果允许所有 VF 而不是特定 VF 进入混杂模式作为特权，这将使恶意用户能够嗅探和监视整个物理端口的传入流量，包括针对其他 VF 的流量，这被认为是严重的安全漏洞。当VF的数量大于56个条目时，其中一些VF的GID表只有单个条目，如果VF的以太网设备分配有IP地址，则这是不够的。借助此功能，VF 仍然可以像过去一样配置单独的速率限制（在 /sys/class/net//device/sriov/<vf_num>/max_tx_rate 下）。VF成员的总最小BW不应超过群组的最小BW。
SRIOV: Mellanox, VGT, VGT+，虚拟机上多VLAN配置问题
mzhan017的博客
04-14 869
使用VGT+，增强功能，控制从虚拟机来的VLAN业务数据。出现一个问题，只有1024个VLAN可以通，再多，就不再支持。 如果只是使用默认的VGT功能，没有问题。 什么原因？
基于KVM的SRIOV直通配置及性能测试
好习惯成就伟大
01-07 3868
目录 ▪ 1. SRIOV介绍 ▪ 2. 环境说明 ▪ 3. 开启SRIOV ▪ 4. 生成VF ▪ 5. VF直通 ▪ 6. 开启irqbalance ▪ 7. VM迁移 ▪ 8. 带宽限速 ▪ 9. 安全 ▪ 10. 其他使用限制 ▪ 11. 性能测试 ▪ 12. windows虚拟机使用VF ▪ 13. 运维命令 ▪ 14. 宿主屏蔽VF驱动 ▪ 附. 包转发率测试方法 ▪ 附. 参考文档 . SRIOV介绍 ▷传统方式的瓶颈：qemu的网卡，传统方式是使用t.
配置SR-IOV网卡的VF权限
为幸福写歌的博客
06-26 1万+
可以使用 ip-link(8) 工具对SR-IOV网卡的VF进行权限配置，命令组：ip link set用于改变设备的权限。1. 设置VF的mac地址：ip link set dev p5p1 vf 0 mac aa:bb:cc:dd:ee:002. 对指定的VF添加信任： ip link set dev p5p1 vf 0 trust onThis command enables trust o...
苏宁私有云SR-IOV虚拟网络性能优化
02-24
SR-IOV标准允许在虚拟机之间高效共享PCIe（PeripheralComponentInterconnectExpress，快速外设组件互连）设备，并且它是在硬件中实现的，可以获得能够与本机性能媲美的I/O性能。SR-IOV规范定义了新的标准，根据该...
Redis 配置文件解读
weixin_44244088的博客
03-23 765
redis 所有配置文件
USB子系统初始化
多云转晴，适合debug的博客
05-21 1246
USB子系统初始化重点结构体介绍1. struct pci_driver xhci_pci_driver2. struct pci_device_id pci_ids[]3. struct hc_driver xhci_hc_driver4. struct attribute_group *usb_device_groups[]5. struct attribute_group dev_attr_grp6. struct attribute *dev_attrs[]7. attribute_group de
使用docker部署Redis
热门推荐
smartsteps的博客
12-24 2万+
docker部署Redis1.拉取镜像安装镜像1.普通启动2.数据持久化存方式启动配置文件方式启动4.客户端查看Redis命令 1.拉取镜像 下载镜像 docker pull redis 查看下载 docker images 安装镜像 1.普通启动 [root@li ~]# docker run -p 6379:6379 -d redis:latest redis-server...
sriov开启混杂模式
weixin_44376670的博客
03-02 590
2、宿主机将vf设置trust on ，关闭spoof check；1、需要网卡硬件支持，如x700系列支持，82599不支持。3、vm内设置网卡为混杂模式。
linux下82599网卡 iov,CentOS7开启网卡直通模式（SR-IOV）
weixin_30880565的博客
05-08 3787
开启直通模式宿主机不需要再创建网桥，可直接在网卡上(比如eth0)设置IP1.进入bios开启sr-iovSystemBIOS——>Integrated Devices——>SR-IOV Global Enable2.修改/etc/default/grub添加”intel_iommu=on”如最后一行GRUB_TIMEOUT=5GRUB_DISTRIBUTOR="$(sed 's, ...
linux查看sriov端口,sriov查看pf-vf对应关系
weixin_34652847的博客
05-11 1568
自己写的，　方便调试。$ cat pf-vfecho "physfn is $1"echo "pf info:"ls /sys/class/net/$1 -lecho "vf info:"eth_dev=`ls /sys/class/net/$1/device/virtfn* -l | cut -d ">" -f 2 |cut -d "/" -f 2`for i in $eth_dev; d...
Centos7搭建KVM虚拟化环境
linux
11-21 4715
SR-IOV 技术是一种基于硬件的虚拟化解决方案，可提高性能和可伸缩性。SR-IOV 标准允许在虚拟机之间高效共享 PCIe（Peripheral Component Interconnect Express，快速外设组件互连）设备，并且它是在硬件中实现的，可以获得能够与本机性能媲美的 I/O 性能。SR-IOV 规范定义了新的标准，根据该标准，创建的新设备可允许将虚拟机直接连接到 I/O 设备。
SR-IOV 基本原理
最新发布
07-27
SR-IOV（Single Root I/O Virtualization）是一种硬件虚拟化技术，它允许多个虚拟机（VMs）直接访问物理设备，而不需要通过虚拟交换机或者软件中间层。SR-IOV 基于 PCI Express（PCIe）总线标准，并且需要支持 SR-IOV 的硬件设备。 SR-IOV 的基本原理是通过在物理设备上创建多个虚拟功能（VF，Virtual Function），每个 VF 被分配给一个虚拟机，使得每个虚拟机都能够直接访问物理设备。每个 VF 都有自己的 MAC 地址和 PCI 配置空间，它们在操作系统中被视为独立的物理设备。 在 SR-IOV 中，还存在一个物理功能（PF，Physical Function），PF 是真实的物理设备接口，负责管理和配置 VF，并将数据从虚拟机转发到物理设备。PF 可以看作是 SR-IOV 设备的主控制器。 当虚拟机需要与物理设备进行通信时，它通过虚拟化层将请求发送到对应的 VF，VF 将请求转发给 PF。PF 根据 VF 配置的 QoS（Quality of Service）策略进行处理，并将数据包转发到物理设备。这样，虚拟机可以直接访问物理设备，从而获得更低的延迟和更高的吞吐量。 总之，SR-IOV 技术通过硬件虚拟化，实现了直接访问物理设备的能力，提升了虚拟机性能和网络吞吐量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值