浅谈Linux设备虚拟化技术的演进之路(1)，程序员如何应对中年危机-CSDN博客

本文链接：https://blog.csdn.net/2401_84138986/article/details/137546133

设备虚拟化技术，一直是云计算领域最重要的基础技术之一。我们在虚拟机里面看到的形形色色的设备，比如：网卡，磁盘，键盘，鼠标等，都离不开这项技术的帮助。这篇文章，我们将从技术演进的角度来谈一谈 Linux 现有的以及即将到来的设备虚拟化技术。

Trap-and-emulate

在最早期阶段，设备虚拟化常常和机器模拟器技术，比如：QEMU，绑定在一起。我们可以通过 QEMU 模拟真实设备的所有寄存器布局和操作流程，当 QEMU 虚拟机里面设备驱动需要访问该虚拟设备的寄存器时，这条访问指令会被 trap 到 QEMU，由 QEMU 来进行处理。这样，虚拟机里面的设备驱动在操作该虚拟设备时就像在访问真实的硬件设备一样，设备驱动也不需要任何变更。

Virtio

通过上述这种 trap-and-emulate 的方式来模拟设备，虽然不需要对真实设备驱动进行变更，但是设备访问过程中，频繁的陷入&陷出带来了严重的性能问题，因此，virtio 这类半虚拟化技术应运而生，并于 2008 年合入 Linux 内核主线。

相较于 trap-and-emulate 这种方式，Virtio 不再拘泥于依赖已有的设备驱动，而是定义了一套全新的专用于虚拟设备的驱动框架。设备驱动清楚自己是在操作虚拟设备，因此，在真正的 I/O 路径上规避了大量可能导致陷入&陷出的 mmio/pio 操作，从而提高了性能。虚机里面的 Virtio 驱动和 QEMU 模拟的 Virtio 设备的数据交互，本质上是一套基于共享内存 + 环形队列的通信机制。核心数据结构（split virtqueue）包括：两个 ringbuffer (avail ring, used ring) 和一个 descriptor table。工作机制类似 DMA，虚机内 virtio 驱动首先会将一个请求在内存中需要传输的散列 buffer 的地址、长度组成一个个描述符写入到 descriptor table 中，然后将这些描述符对应的 descriptor table 上的 index 写入到 avail ring 中，并通过 eventfd 机制通知到宿主机上的 virtio backend。由于这些 ringbuffer、descriptor table 以及散列 buffer 都在共享内存中（虚机本质上是一个用户态进程，因此虚机内存是由用户态申请和分配，并可以 share 给其他进程，如：SPDK，DPDK 等），因此，Virtio Backend 可以直接访问并获取到散列 buffer 的地址、长度，进而直接存取这些散列 buffer。当处理完请求之后，Virtio Backend 将数据填充到相应的 buffer，并将对应的 descriptor table index 写入 used ring 中，并通过 eventfd 机制注入中断通知虚机内 virtio 驱动。

Vhost

Virtio 技术提出之后，Virtio 设备通常是在 QEMU 里面来进行模拟，数据收发都需要经过 QEMU，再到虚机内部。但逐渐地，开发者们发现，当模拟网卡时，在 QEMU 里面进行数据收发，最终都需要通过系统调用的方式，陷入内核来操作网卡硬件进行实际的数据收发。那么，QEMU 到内核的这次上下文切换以及带来的额外拷贝开销，有没有办法优化呢？

Linux 内核社区最终在 2010 年合入了 vhost 这个技术来进行优化，通过将 virtio 的数据面 offload 到一个内核线程来进行处理，这样 virtio 通信机制从原本的 QEMU 用户态 I/O 线程和虚机驱动（QEMU 用户态 vcpu 线程）通信变成了 vhost 内核 I/O 线程和虚机驱动（QEMU 用户态 vcpu 线程）通信。vhost 内核 I/O 线程拿到数据包之后，直接走内核协议栈和网卡驱动进行处理，从而优化掉了 QEMU 到内核态的额外开销。

VFIO

随着云计算规模的不断扩大，用户一方面不再满足于 Virtio 这类半虚拟化设备带来的性能体验，另一方面 GPU 这类很难进行 virtio 化的设备应用场景与日俱增。在这种背景下，VFIO 这项技术被提出并在 2012 年合入 Linux 内核主线。VFIO 全称是 Virtual Function I/O，它实际是一个用户态设备驱动框架，相较于更早的 uio 这个用户态设备驱动框架，VFIO 能够有效利用硬件 IOMMU 机制进行安全隔离，从而能够广泛地应用在云计算这类有多租户需求的场景中。

如上图所示，通过 VFIO，QEMU 能够直接将自己虚拟出的一个 PCI 设备和一个物理 PCI 设备的数据链路直接打通，当虚拟机里面的设备驱动访问虚拟 PCI 设备的 bar 空间时，通过 EPT 机制，这次 mmio 访问会被重定向到真实物理设备相应的 bar 空间位置，而不再需要 trap 到 QEMU。这样，虚机驱动就相当于可以以接近零消耗的方式直接访问真实物理设备，性能可以达到最佳。同时，VFIO 驱动利用 IOMMU 实现了设备 DMA 和中断的重映射，一方面起到隔离作用，即某个虚机无法操作 VFIO 直通设备向同一宿主机上的其他虚机发起 DMA 和中断，一方面也保证了设备进行 DMA 时通过给定的虚机物理地址能够直接访问到正确的物理内存。

Vhost-user

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Linux运维工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。