RED HAT BLOG
https://www.redhat.com/en/blog/virtqueues-and-virtio-ring-how-data-travels?source=searchresultlisting
virtio1.1新功能
https://cloud.tencent.com/developer/article/1818845
何为前后端–virtio:
说到前后端就要提到virtio,virtio是IBM提出的实现虚拟机内部和宿主机之前数据交换的一种方式,与全虚拟化方式比较(即通过qemu完全模拟设备的方式),性能有了较大的提升。
简单来讲,在virtio体系中分为前端驱动和后端驱动两个部分。前端驱动我们一般可以理解为虚拟机内部的虚拟网卡的驱动,当然Windows和Linux的驱动是不同的;后端驱动virtio是宿主机上的部分,实现可能会有不同的方式,如内核模式的vhost,用户态vhost-user等等,但是本质的功能是类似的,就是将前端驱动发出的报文转发到后端虚拟设备上,同理将收到的报文传入实例内的前端驱动。
virtio如何交换数据–virtqueue、vring
总的来说,virtqueue 即前后端环形队列进行数据交换的实际数据链路。guest 把 buffers 插入其中,每个 buffer 都是一个分散-聚集数组。驱动调用 find_vqs()来创建一个与 queue 关联的结构体。virtqueue 的数目根据设备的不同而不同。network 设备有 2 个 virtqueue,一个用于发送数据包,一个用于接收数据包。
virtqueue由 描述符列表(descriptor table)、可用环表(available ring)、已用环表(used ring)3部分组成:
struct vring {
unsigned int num;
struct vring_desc *desc;
struct vring_avail *avail;
struct vring_used *used;
}
- vring_desc:放置了所有真正的报文数据。
- vring_avail 与vring_used :
- 在发送报文的时候,前端驱动将报文在desc中的索引放在avail队列中,后端驱动从这个队列里获取报文进行转发,处理完之后将这些报文放入used队列。
- 在接受报文的时候,前端驱动将空白的内存块放入avail队列中(当然也只是报文在desc队列中的索引而已),后端接受报文将内容填充后,将这些含数据的报文放入used队列。
这三个队列都是固定长度的环形队列,当然实现仅仅是对相应索引号对最大长度去余而已。下面这张图形象地表明三个队列和前后端驱动的关系:
virtqueue:数据结构以及通信机制
我们以 前端的发送队列为例,注意所有的结构信息都是在虚拟机内部可见的,可以通过core dump查看:
struct vring_virtqueue {
vq = {
list = {
next = 0xffff881027e3d800,
prev = 0xffff881026d9b000
},
callback = 0xffffffffa0149450,
name = 0xffff881027e3ee88 "output.0", ->>表明是发送队列
vdev = 0xffff881023776800,
priv = 0xffff8810237d03c0
},
vring = {
num = 256, ->>所有的队列长度
desc = 0xffff881026d9c000, ->> desc队列
avail = 0xffff881026d9d000, ->> avail队列
used = 0xffff881026d9e000 ->> used队列
},
broken = false,
indirect = true,
event = true,
num_free = 0, ->> 队列目前有多少空闲元素了,如果已经为0表明队列已经阻塞,前端将无法发送报文给后端
free_head = 0, ->> 指向下一个空闲的desc元素
num_added = 0, ->>是最近一次操作向队列中添加报文的数量
last_used_idx = 52143, 这是前端记录他看到最新的被后端用过的索引(idx),是前端已经处理到的used队列的idx。前端会把这个值写到avail队列的最后一个元素,这样后端就可以得知前端已经处理到used队列的哪一个元素了。
<> ->> last_avail_idx 前端不会碰,而且前端的virtqueue结构里就没有这个值,这个代表后端已经处理到avail队列的哪个元素了,前端靠这个信息来做限速,后端是把这个值写在used队列的最后一个元素,这样前端就可以读到了。
notify = 0xffffffffa005a350,
queue_index = 1,
data = 0xffff881026d9f078
}
crash> struct vring_avail 0xffff881026d9d000
struct vring_avail {
flags = 0,
idx = 52399, ->> avail队列的下个可用元素的索引
ring = 0xffff881026d9d004 ->> 队列数组
}
crash> struct vring_used
struct vring_used {
__u16 flags;
__u16 idx; ->> used队列的下个可用元素的索引
struct vring_used_elem ring[]; ->> 队列数组
}
下面我们再深入分析下后端驱动的几个重要数据结构:
struct VirtQueue
{
VRing vring;//每个queue一个vring
hwaddr pa;//记录virtqueue中关联的描述符表的地址
/*last_avail_idx对应ring[]中的下标*/
uint16_t last_avail_idx;//上次写入的最后一个avail_ring的索引,下次给客户机发送的时候需要从avail_ring+1
/* Last used index value we have signalled on */
uint16_t signalled_used;
/* Last used index value we have signalled on */
bool signalled_used_valid;
/* Notification enabled? */
bool notification;
uint16_t queue_index;
int inuse;
uint16_t vector;
void (*handle_output)(VirtIODevice *vdev, VirtQueue *vq);
VirtIODevice *vdev;
EventNotifier guest_notifier;
EventNotifier host_notifier;
};
与前端类似,HOST和客户机也正是通过VirtQueue来操作buffer。每个buffer包含一个VRing结构,对buffer的操作实际上是通过VRing来管理的。pa是描述符表的物理地址。last_avail_index对应VRingAvail中ring[]数组的下标,表示上次最后使用的一个buffer首个desc对应的ring[]中的下标。这里先介绍VRing:
typedef struct VRing
{
unsigned int num;//描述符表中表项的个数
unsigned int align;
hwaddr desc;//指向描述符表
hwaddr avail;//指向VRingAvail结构
hwaddr used;//指向VRingUsed结构
} VRing;
前面说过,VRing管理buffer,其实事实上,VRing是通过描述符表管理buffer的。究竟是怎么个管理法?这里num表示描述符表中的表项数。align是对其粒度。desc表示描述符表的物理地址。avail是VRingAvail的物理地址,而used是VRingUsed的物理地址。每一个描述符表项都对应一个物理块,参考下面的数据结构,每个表项都记录了其对应物理块的物理地址,长度,标志位,和next指针。同一buffer的不同物理块正是通过这个next指针连接起来的。
typedef struct VRingDesc
{
uint64_t addr;//buffer 的地址
uint32_t len;//buffer的大小,需要注意当描述符作为节点连接一个描述符表时,描述符项的个数为len/sizeof(VRingDesc)
uint16_t flags;
uint16_t next;
} VRingDesc;
- addr:guest 物理地址
- len:buffer 的长度
- flags:flags 的值含义包括:
- VRING_DESC_F_NEXT:用于表明当前 buffer 的下一个域是否有效,也间接表明当前 buffer 是否是 buffers list 的最后一个。
- VRING_DESC_F_WRITE:当前 buffer 是 read-only 还是 write-only。
- VRING_DESC_F_INDIRECT:表明这个 buffer 中包含一个 buffer 描述符的 list
- next:所有的 buffers 通过 next 串联起来组成 descriptor table
{
typedef struct VRingAvail
uint16_t flags;//限制host是否向客户机注入中断
uint16_t idx;
uint16_t ring[0];//这是一个索引数组,对应在描述符表中表项的下标,代表一个buffer的head,即一个buffer有多个description组成,其head会记录到
//ring数组中,使用的时候需要从ring数组中取出一个head才可以
} VRingAvail;
typedef struct VRingUsedElem
{
uint32_t id;
uint32_t len;//应该表示它代表的数据段的长度
} VRingUsedElem;
typedef struct VRingUsed
{
uint16_t flags;//用于限制客户机是否增加buffer后是否通知host
uint16_t idx;//
VRingUsedElem ring[0];//意义同VRingAvail
} VRingUsed;
两个字段基本一致,flags是标识位主要限制HOST和客户机的通知。VRing中的flags限制当HOST写入数据完成后是否向客户机注入中断,而VRingUsed中的flags限制当客户机增加buffer后,是否通知给HOST。这一点在高流量的情况下很有效。就像现在网络协议栈中的NAPI,为何采用中断加轮训而不是采用单纯的中断或者轮询。
二者也都有idx。VRingAvail中的idx表明客户机驱动下次添加buffer使用的ring下标,VRingUsed中的idx表明qemu下次添加VRingUsedElem使用的ring下标。
然后两者都有一个数组,VRingAvail中的ring数组记录的是可用buffer 的head index.即
if ring[0]=2
then desctable[2] 记录的就是一个逻辑buffer的首个物理块的信息。
Available ring 指向 guest 提供给设备的描述符,它指向一个 descriptor 链表的头。Available ring 结构如下图所示。
其中标识 flags 值为 0 或者 1,1 表明 Guest 不需要 device 使用完这些 descriptor 时上报中断。idx 指向我们下一个 descriptor 入口处,idx 从 0 开始,一直增加,使用时需要取模:idx=idx&(vring.num-1)
virtqueue中的last_avail_idx记录ring[]数组中首个可用的buffer头部。即根据last_avail_idx查找ring[],根据ring[]数组得到desc表的下标。然后last_avail_idx++。
每次HOST向客户机发送数据就需要从这里获取一个buffer head。
当HOST完成数据的写入,可能会产生多个VirtQueueElement,即使用多个逻辑buffer,每个VirtQueueElement的信息记录到VRingUsed的VRingUsedElem数组中,一个元素对应一个VRingUsedElem结构,其中id记录对应buffer的head,len记录长度。