virtio驱动_VIRTIO & VHOST

背景

在虚拟化领域，virtio 随处可见。当前，virtio 可以加速 IO、network子系统。

在 IO 子系统，主要有 virtio-blk, virtio-scsi。同时，有 vhost 相关的 vhost-blk, vhost-scsi, vhost-nvme 这些。

看起来东西很多很乱，其实只要理解了本质，就可以轻松化解如此多virtio*让人困扰的问题了。

本质是什么呢？本质就是 virtio 的数据结构，以及操作。

virtio基本结构

virtio 的基本数据结构是一个 ring，这个 ring 是一段连续的内存。有了一段内存，就可以为所欲为了。

virtio 把这段内存分成3个部分，依次是 desc，avail，used。每一块是一个数组，可以顺序索引。他们的元素个数是一样，也就是是 ring 的 长度。

virtio & vhost数据流动

以VHOST为例，来解释一下数据是如何流动的：

• client（qemu）创建共享内存，然后通过ioctl与内核通信，告知内核共享内存的信息，这种就是kernel作为server的vhost；或者通过Unix domain来跟其他的进程通信，这叫做vhost-user。下面以Unix domain为例。
• Unix domain可以使用sendmsg/recvmsg来传递文件描述符，这样效率更高一些；client创建好共享内存，发送描述符到server，server直接mmap这个描述符就可以了，少了一个open的操作。
• Client和Server可以有多段共享内存，每段之间不连续。每一段都是一个vring。
• Client初始化好每一段共享内存vring，Server不用初始化。
• Client发送vring的desc，avail，used这些地址给server，然后server在重新mmap之后，可以根据这个地址算出desc，avail，used这些在server用户进程的地址，然后就可以直接读写了。注意，由于数据指针是client地址，在Server处理读的时候需要转换。
• 读写：以net为例，两个vring，一个tx，一个rx
• 共享内存存放desc，avail，used这些信息，以及avail->idx, used->idx这些信息。
• 当client写的时候，数据放在vring->last_avail_idx这个描述符里，注意last_avail_idx、last_used_idx这两个值，在client和server看到的是不一样的，各自维护自己的信息，作为链表头尾。添加id到avail里面，shared.avail.idx++。注意，client此处的last_avail_idx指向的是描述符的id，而不是avail数组的id，这个跟Server上的last_avail_idx的意思不一样。为什么这样做呢？
  • last_avail_idx 表示可用的数据项，可以直接拿出来用，用完之后，取当前的next;
  • 当回收的时候，也就是client在处理used的时候，可以直接插入到last_avail_idx的前面，类似链表插入到表头；
• Server收到信号后，从自己记录的last_avail_idx开始读数据，读到avail->idx这里，区间就是[server.last_avail_idx, shared.avail.idx)。
• Server处理每处理完一条请求，自己的 last_avail_idx ++; 同时插入 id 到 used 里面，插入的位置是 shared.used.idx，然后 shared.used.ix+ +。used.idx此时就像avail->idx一样，表示最新的used的位置。
• Server通知client处理完数据后，client就可以回收used的描述符了，可回收的区间是[client.last_used_idx, shared.used.idx)。
• Kickfd，callfd都是在client创建，然后通过unix domain发送给server。client通知server叫kick。

Vhost是什么

virtio offload到host叫做vhost。可以在内核态或者用户态实现。在内核态的实现主要在Linux的kernel实现。

kernel代码位置：drivers/vhost Vhost作为字符设备使用，来与qemu进行交互。跟其他的很多driver一样，利用ioctl。vhost-net 驱动会创建一个名为 /dev/vhost-net 的字符型设备，当 QEMU 通过-netdev tap,fd=,id=hostnet0,vhost=on,vhostfd=这样的参数启动时，QEMU 会打开这个设备（你可以通过 lsof -p $PID 查看，$PID 为 QEMU 的进程号）并通过 ioctl 初始化设备。

初始化过程中 vhost 驱动会创建一个内核线程名为 vhost-$PID （$PID 为 QEMU 的进程号），这个线程是 vhost 的工作线程（worker thread），工作线程会始终等待 virtqueue 触发，然后处理 virtqueue 上的 buffer，然后送到 tap 设备的文件描述符。反过来，文件描述符的 polling 也是由工作线程完成的，也就是说 vhost-net 在内核模拟了 tx、rx 队列，而并没有完成整个 virtio PIC 设备的模拟，控制平面例如在线迁移、协商等依旧由 QEMU 实现。

Vhost-user与vhost的区别

Vhost是client与kernel（server）的交互，client与内核共享内存，局限性是如果client要发送消息到用户进程，很不方便； Vhost-user使用unix domain来进行通信，两个用户进程共享内存，达到和vhost一样的效果。

Virtio-blk与virtio-scsi

他们都是在 virtio spec 里面定义的两种块设备实现。区别是 virtio-blk 是作为 pci 设备挂在 qemu 里面，所以最多只能有16块 virtio-blk 盘。 而 virtio-scsi 作为 scsi 子系统，挂在 scsi 总线上，数量上可以多得多。由于 virtio-scsi 实现了 scsi 的协议 ，所以复杂度来说要高一些。 此时，在 qemu 里面看，这块盘跟普通的 scsi 盘一样，支持 scsi 命令查询，例如 sg3_utils 提供的工具。但是 virtio-blk 盘不支持 scsi 命令。

相关代码：

Kerne
drivers/vhost/vhost.c - common vhost driver code
drivers/vhost/net.c - vhost-net driver
virt/kvm/eventfd.c - ioeventfd and irqfd

Qemu
hw/vhost.c - common vhost initialization code
hw/vhost_net.c - vhost-net initialization