2021美国峰会系列四 | vfio-user与NVMe虚拟设备

最新推荐文章于 2024-06-11 09:57:11 发布
最新推荐文章于 2024-06-11 09:57:11 发布
阅读量813 收藏
点赞数 1
文章标签： java android 机器学习 python github
原文链接：https://mp.weixin.qq.com/s?__biz=MzI3NDA4ODY4MA==&mid=2653338290&idx=1&sn=04f64e75c9dc2a933707b207956e672a&chksm=f0cb4d35c7bcc4235e0aca754b60104883c62574b6dd8230a5cf8683261ac7902c3e701fdb21&scene=126&&sessionid=0
版权

2021 SPDK 美国线上峰会

今天我们给大家带来的是2021年SPDK美国线上峰会的第四篇技术分享。

在峰会上，英特尔软件工程师Ben Walker和Thanos Makatos共同分享了《使用vfio-user模拟NVMe虚拟设备》,主要分享内容分为以下四部分：

1、研究历程

2、vfio-user标准化与采用

3、模拟NVMe设备

4、基准测试

下面给大家展示此次分享的具体内容：

点击边框调出视频工具条

4aea1f778ead7133df1c9143f1984e82.png

f6350bd89a96a926c1d6b84d0bc8fb72.png

348b169b491cb3489913809ba1446e13.png

fbb933fc7454dd8ed1eb1fbbe3b1a3e5.png

1ab8755f70ca8f2941c918c5ae4251d7.png

aba2ec5b66aea41f7153fd28335b440d.png

17bff1e745eabdc7f367443b6f917b6b.png

75c4be22758f0cc7ec58e32fd8e2cb3f.png

ba35730867d7e0303be0c2e69299bb4b.png

a987436ef8997a5da58c8fe5504fbad6.png

f7c1c0dc5e22bf87367584cdc8290a50.png

dc5f039beda33ece0eaa5e44c37fe1d0.png

2bc3aa3ae4f9715252a7f8a7802d52af.png

a28a4777d85860b20c4fc8f307a7d78c.png

8683680f4e558a663d1164b36ffba03f.png

d2d2e84751747169077667f960e89924.png

0fc2ac675135361663111ad44fa61326.png

afcb074c0c2109fdbc86e952620bc928.png

84e78519edb981b88e112f5dcf6f6669.png

a60afe8b2db19f3aa7bd70331a552b7c.png

041b86c16a97c1c1732394f77424539c.png

5d51b2c8062cadf360f8737e1b4f0377.png

5cac3da6b0244db71bf4a711b732e9ca.png

55bf8215a8d332ab12f0dea911010807.png

4731f77cacc2489bcdfaa1fdcfb40570.png

3d7973c08b12a151ec960ae579d8c9a0.png

e04a784cc04acf10236a6c533f276868.png

d278277104dd22d75e14fe05dd89148b.png

相关资源共享

👉 1.PPT下载链接

https://ci.spdk.io/download/2021-virtual-forum-us/Topic_2_2021_US_SPDK_PMDK_Analyzers_Virtual_Forum_SPDK_Getting_SPDK_Ready_for_Cloud_Native_Intel_Ben_and_Paul.pdf

👉 2.Youtube 视频链接

https://www.youtube.com/watch?v=l40Bo3O3IoA&list=PL4eJZ5XvN_LQ91sA7PBXiUEYtbTMEFUy1&index=3

ca8b27b27ac6d072b45feafc0e176248.png

转载须知

DPDK与SPDK开源社区

公众号文章转载声明

推荐阅读

基于SPDK 加速框架的高性能PMEM Bdev

欢迎加入2021 SPDK, PMDK, Intel® Performance Analyzers Online Forum！（12月15日）

2021美国峰会系列一 | SPDK项目状态

2021美国峰会系列二 | SPDK与云原生

2021美国峰会系列三 | SPDK性能基准测试

bb1085fb78918626b6439dc80197fcbb.png

8462590c64b79ff16368e4af2d5375cb.gif

点点“赞”和“在看”，给我充点儿电吧~

weixin_37097605
关注
libvfio-user：在用户空间中模拟设备的框架
02-19
libvfio用户 vfio-user是一个框架，允许在用户空间中实现PCI设备。 客户端（例如通过UNIX套接字将与服务器通信。该库libvfio-user提供了用于实现此类服务器的API。 是一种内核工具，用于提供对用户空间中PCI设备的安全访问（包括传递给VM）。 使用vfio-user ，所有交互都在用户空间中完成，而不需要与内核对话，而无需任何内核组件。 vfio-user设备根本不使用内核VFIO实现。 换句话说， vfio-user是vFIO， 是vhost 。 vfio-user协议是在VFIO ioctl()接口之后特意建模的，并共享其许多定义。 但是，并没有确切的对等关系：例如，IOMMU组未在vfio-user表示。 您可能会将此库用于许多不同目的，例如，对新型设备进行原型设计，测试框架，实现qemu设备仿真的替代方案，使设备类适应网络工作等。 该库抽象了代
QEMU多进程(Multi-process QEMU)及vfio-user应用
rayylee
10-22 1191
1.Qemu现状-多线程锁竞争 2.Qemu现状-项目依赖太多 $ readelf -d /usr/bin/qemu-system-x86_64 | grep NEEDED | wc -l 60 $ ldd /usr/bin/qemu-system-x86_64 | wc -l 158 3.Qemu现状-代码太过于庞大，大多数是C代码并且增长飞快 4.Qemu多进程最终目标 5.Qemu多进程原理 6.VFIO-User 原理 7.VFIO-User通过DMA模拟设备流程 8.Qemu多进程支
深入分析vfio-user设备实现原理 —— Client侧
Take Easy，Work Hard！
06-20 976
本文基于oracel qemu https://github.com/oracle/qemu.git 版本，分析了vfio-user协议相关的客户端实现
SPDK NVMe vfio uio vhost相关概念及练手
wade1010的专栏
01-28 1343
spdk最大的特点就是对于文件的存储以及文件的规划，它已经不再是分布式文件系统，分布式文件系统是这样的：只对文件本身进行规划，进行索引，至于文件具体存储的方式，比如数据源、数据的格式这些事管不了的，但是spdk不一样，它把对应的文件存储都做到了用户空间来了，就是把本身内核操作的东西，现在把它做到了用户空间，有我们自己去做、去控制，这样的一种方案，包括前面的网络也是(vhost，可以用DPDK)，这是跟以往的分布式文件系统不一样的地方。那么英特尔提供SPDK的方案，用来解决软件上缺失的问题。
VFIO软件依赖——VFIO协议
Take Easy，Work Hard！
02-13 1539
文章主要介绍VFIO协议产生的背景和具体内容，并做简单实验感性认识
ESXi-8.0U1-21495797-USB-NVME.iso
最新发布
09-27
2.允许在不受支持的NVME 上安装 ESXi 8.0 3.允许支持USB网卡，如RTL8152、RTL8153、RTL8156、RTL88179等 4.官方支持Intel i225 i226 i219等网卡 5.虚拟缓存大小修改为 8G，解决 默认安装占用磁盘空间过大的问题 ...
b85-hd3-a-nvme.fd
11-18
B85-HD3-A支持NVME BIOS 本人测试没有问题。有需要的请下载
B85M-G-PLUS带NVME模块BIOS.rar
05-30
华硕B85M-G-PLUS主板改bios，添加M.2 NVME 模块，支持nvme 硬盘启动。 一、文件列表： B85M-G-PLUS-ASUS-0402.CAP：最新的b85mgplus官方bios B85M-G-PLUS-ASUS-0402-nvme.cap：添加M.2 NVME硬盘驱动的bios。 二、...
P8Z77-V-ASUS-2104-Nvme_Dell2.3.rar
09-16
P8Z77-V-ASUS-2104-Nvme_Dell2.3.rar
华硕老主板Z9PE-D8-WS加持NVME协议，支持nvme硬盘
05-13
标题中的“华硕老主板Z9PE-D8-WS加持NVME协议，支持nvme硬盘”指的是华硕的Z9PE-D8-WS主板通过更新BIOS固件，增加了对NVMe协议的支持，使得该主板能够识别并使用采用NVMe接口的高速固态硬盘。 NVMe（Non-Volatile ...
推荐开源项目：libvfio-user，带你进入用户空间的设备虚拟化新纪元
gitblog_00027的博客
06-11 279
推荐开源项目：libvfio-user，带你进入用户空间的设备虚拟化新纪元 libvfio-userframework for emulating devices in userspace项目地址:https://gitcode.com/gh_mirrors/li/libvfio-user 1. 项目介绍 libvfio-user 是一个开创性的框架，它使得在用户空间实现PCI设备成为可能。通过...
VFIO的使用及原理
千墨 的CSDN《断剑情雪》
11-02 1827
vfio设备透传主要用于将设备直通给虚拟机以提高性能，本篇以一张网卡为例讲述VFIO设备的配置使用及底层原理。其中涉及的技术背景主要有linux+qemu+kvm+vfio。
NVMe 用户空间驱动（二）：实现1
lingshengxiyou的博客
01-04 734
将PCI设备暴露到用户态，使得用户态可以操作DMA，寄存器，中断等，这样的好处是，可以在用户态来支持新的设备，减少延迟，提高带宽。// 设置IO read的处理handler，以及IO polling的处理handler，IO polling是Qemu支持的另一种IO处理形式，也是当前社区比较流行的方式，不通过事件驱动，而是busy polling，或者adaptive polling。在本文写作的同时，提交了一个 Qemu NVMe 的 patch，修复在阅读代码中发现的问题，已经被作者 merge。
基于DPDK的设备虚拟化框架
weixin_37097605的博客
09-01 466
基于DPDK的设备虚拟化框架全文大概1800字，阅读需要7分钟///@users随着全面上云的时代到来，云计算技术愈发呈现出其重要性。而在云计算技术中，I/O虚拟化技术又是十分重要的一...
2019美国峰会系列一 | SPDK: State of the Project
weixin_37097605的博客
05-17 214
4月16日到17日，在美国召开了SPDK，PMDK和英特尔®VTune™峰会，会上Intel SPDK首席架构师Jim Harris介绍了SPDK的整体发展状况，最近的几...
用户态虚拟化IO通道实现概览及实践（上）
weixin_37097605的博客
06-01 1113
自虚拟化技术诞生起，提升虚拟化场景中IO设备性能和驱动的兼容性、可扩展性一直是备受关注和追求的目标。随着半虚拟化技术的出现，virtio设备及驱动也很快流行并逐步变成了虚拟化应用中的主要IO通道形态。例如，virtio现已支持实现的设备涵盖了网络设备（virtio-net）、块设备（virtio-blk）、串口设备在（virtio-console）等等。其后，通过DPDK...
Virtio-user使用简介
分享空间
09-27 603
DPDK支持几种方式让用户空间的报文重新进入内核协议栈(这种dpdk和kernel直接通信的路径叫做exception path)，例如tap/tun设备使用，kni，Virtio-user。这里主要讲Virtio-user使用，Virtio-user是virtio PMD的虚拟设备，启动DPDK virtio-user，系统就会创建一个内核态的虚拟设备tap。下面介绍Virtio-user的使用和使用前驱动的安装。​​。
vfio设备直通虚拟机
wujianyongw4的博客
10-16 1961
vfio设备直通虚拟机可以使虚拟机直接与虚拟机交互获得较好的性能。关于vfio的详细讲解我觉得李强的《qemu/kvm源码分析与应用》讲的很好。本文只讲一下如何使用。 环境要求： host kernel：设置如下config CONFIG_VFIO_IOMMU_TYPE1=m CONFIG_VFIO=m CONFIG_VFIO_PCI=m 关闭 CONFIG_VFIO_NOIOMMU 重新编译安装kernel后重新启动。 绑定设备到vfio，以网卡设备为例 lspci -D | grep
网络虚拟化——virtio-user
dillanzhou的博客
11-03 3285
在上一篇文章（网络虚拟化——vhost-user_dillanzhou的博客-CSDN博客）中，介绍了通过DPDK框架，将vhost移入用户态的技术——vhost-user的原理。其中也提到了可以将virtio设备驱动也放到用户态，从而实现更高效率的基于virtio设备的网络收发应用。DPDK中提供了virtio网卡的用户态驱动，称为virtio-user。 从前面几篇文章的介绍中我们可以发现，virtio设备和驱动从虚拟机角度来看和普通的网卡设备没有什么区别，只是数据面和控制面接口符合virtio规范而
spdk 绑定nvme盘为vfio-pci
07-22
您好！要将SPDK绑定到NVMe盘上，以使用vfio-pci驱动程序进行直通，请按照以下步骤进行操作： 1. 确保您的系统支持IOMMU（Input-Output Memory Management Unit）并已启用。您可以通过查看BIOS设置或运行`dmesg | grep -e DMAR -e IOMMU`命令来验证。 2. 安装SPDK并设置好环境变量。您可以从SPDK的官方网站（https://spdk.io）下载最新版本的源码，并根据其提供的文档进行安装和配置。 3. 确定要绑定的NVMe盘的PCI地址。可以使用`lspci`命令来列出系统中的PCI设备，并找到对应的NVMe盘。 4. 禁用NVMe驱动程序。使用以下命令将NVMe驱动程序从内核中卸载： ``` sudo modprobe -r nvme ``` 注意：这将禁用系统中所有的NVMe驱动程序，确保您知道自己在做什么。 5. 绑定NVMe盘到vfio-pci驱动程序。使用`vfio-pci`驱动程序将NVMe盘绑定到SPDK。执行以下命令： ``` sudo modprobe vfio-pci echo "YOUR_NVME_PCI_ADDRESS" | sudo tee /sys/bus/pci/drivers/vfio-pci/bind ``` 将"YOUR_NVME_PCI_ADDRESS"替换为您要绑定的NVMe盘的PCI地址。 6. 验证绑定是否成功。您可以运行`lspci -nnk -d YOUR_NVME_PCI_ADDRESS`命令来验证NVMe盘是否已成功绑定到vfio-pci驱动程序。 请注意，这些步骤需要在具有适当权限的系统上进行，并且对系统的配置和驱动程序有一定的了解。在进行任何更改之前，请确保备份重要数据，并谨慎操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值