linux学习—— CentOS命令行版下创建KVM虚拟机（VM）并添加SR-IOV的虚拟网卡（VF）

最近看到一篇文章，内容是关于SR-IOV中VF的创建与将VF添加到VM中。比本文详细很多，供大家参考
https://www.cnblogs.com/sctb/p/13848201.html

---

前言

我目前的需求是在服务器中创建几个虚拟机，并使其进行RDMA通信。由于使用的是centos服务器，而且还是命令行版的，比较麻烦。所以打算使用KVM来创建虚拟机。进行RDMA通信需要网卡的支持，因为服务器上的物理网卡是Mellanox 的 connectX6，所以打算使用SR-IOV来在connectX6创建几个VF供虚拟机使用。若各位有更好的方法，还望不吝赐教！

---

一、KVM

1、KVM及相关技术（qemu、libvirt）

KVM 全称是基于内核的虚拟机（Kernel-based Virtual Machine）是一个开源软件，基于内核的虚拟化技术，实际是嵌入系统的一个虚拟化模块，通过优化内核来使用虚拟技术，该内核模块使得 Linux 变成了一个Hypervisor，虚拟机使用 Linux 自身的调度器进行管理。

kvm负责cpu虚拟化和内存虚拟化，实现了cpu和内存的虚拟化，但kvm不能模拟其他设备

qemu是模拟IO设备（网卡，磁盘），kvm加上qemu之后就能实现真正意义上服务器虚拟化。

libvirt则是调用kvm虚拟化技术的接口进行管理

具体参考这里

2、创建KVM虚拟机

virsh是基于libvirt的一个命令行工具。可用于配置、管理虚拟机。具体使用方法请virsh --help或这里

virt-install用于创建新的KVM虚拟机。格式如下（正确的指令）

virt-install --name rhel7anaconda-guest -r 1024 --location=/home/jherrman/Downloads/rhel-workstation-7.4-x86_64-dvd.iso --disk size=8 --nographics --extra-args="console=tty0 console=ttyS0,115200n8"

将上面的路径改为自己主机中iso镜像的存储位置即可。镜像下载。这里的参数 --extra-args=“console=tty0 console=ttyS0,115200n8” 在命令行linux模式下非常重要。

我之前使用的安装指令（有问题的指令），一直没有成功

virt-install --name centos --ram 1024 --vcpus=1 --disk path=/var/vm/disk/centos7.raw --network network:default --os-variant=rhel7 -l http://tel.mirrors.163.com/centos/7/os/x86_64/ --extra-args='console=tty0 console=ttyS0,115200n8'

可能是使用了–disk path=/var/vm/disk/centos7.raw，导致一直连接不上虚拟机。若有相同情况的朋友，一定要使用第一条安装指令！！

二、SR-IOV

1、SR-IOV的概念

SR-IOV（Single-Root I/O Virtualization）技术是一种基于物理硬件的虚拟化解决方案，可提高物理I/O设备的性能的可扩展性。SR-IOV技术允许在虚拟机之间高效共享PCIe设备，由于SR-IOV技术是基于硬件实现的，可以使虚拟机获得与宿主机媲美的I/O性能。

我的理解是：SR-IOV可以将物理硬件资源虚拟化一部分出来，虚拟出来的这部分资源可以当做完整的硬件资源使用，但是功能肯定没有物理硬件资源那么齐全。

SR-IOV定义了两种功能类型：

1. 物理功能（PF）：PF是全功能的PCIE，可以像其他任何PCIE设备一样进行发现、管理、和处理。PF拥有完全配置和控制PCIE设备资源的能力。

2. 虚拟功能（VF）：VF是一种轻量级的PCIE功能，VF可以与PF以及与同一PF相关联的其他VF共享一个或多个物理资源。VF仅允许拥有用于其自身行为的配置资源。

2、使用SR-IOV创建VF

可以参照官网文档

创建方法：

1. 选择将要进行SR-IOV操作的物理网卡。我这里的物理网卡名称为p4p2
   

2. 确保SR-IOV功能在系统中是启用的。可以参照官网文档

3. 查看网卡所支持分配的VF数量。将设备改为自己机器上的网卡

   cat /sys/ class/net/p4p2/device/sriov_totalvfs
   

4. 开启SR-IOV功能

   echo 2 > /sys/ class/net/p4p2/device/sriov_numvfs
   

5. 此时VF已经创建完成。可以使用IP工具给创建好的VF配置MAC地址

   ip link set p4p2 vf 0 mac e4:11:22:33:44:50
   ip link set p4p2 vf 1 mac e4:11:22:33:44:51
   

   查看ip link show p4p2
   

此时VF已经创建完成

三、将VF分配给创建好的VM

查看已创建的VF的pci号，我用的是pci_0000_42_01_2这个VF。

在任意路径下创建XML文件，我是用的路径是 /etc/libvirt/qemu/networks/ ，因为这里是虚拟机网络配置文件的地方。命名为yxj-interface.xml

其内容

 <interface type='hostdev' managed='yes'>
     <source>
       <address type='pci' domain='0x0000' bus='0x42' slot='0x01' function='0x2'/>
     </source>
   </interface>

保存后，加载该xml文件

virsh net-define /tmp/passthrough.xml

最后使用命令，将VF添加到VM上

virsh attach-device MyGuest /etc/libvirt/qemu/networks/yxj-interface.xml --live --config

这样一个虚拟的SR-IOV网卡就被添加到KVM的虚拟机上了

最后的网络配置可根据个人需求进行处理。

---

总结

第一步通过virsh-install命令创建VM
第二步生成SR-IOV的VF
第三步将VF绑定到VM

这里只介绍了最基本的处理方式，根据个人的不同需求可以适当的进行调整。比如我最后还需要将VF连接到OVS网桥上，这里还需要在将PF上默认的模式从Legacy改为SwitchDev。

参考链接

https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html/virtualization_getting_started_guide

https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html-single/virtualization_deployment_and_administration_guide