SPDK与io_uring新异步IO机制

最新推荐文章于 2023-06-28 17:49:09 发布
最新推荐文章于 2023-06-28 17:49:09 发布
阅读量263 收藏
点赞数
分类专栏： 编程 教学 dpdk 文章标签： 服务器 运维 c++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_60043341/article/details/126405990
版权

io_uring自2019年1月初提出后，目前已合入Linux v5.1版本，SPDK也在用户态通用块层(bdev)，建立了uring bdev的设备(代码目录：spdk/module/bdev/uring)。像其他存储设备对应的bdev一样，比如HDD, NVMe SSD, Optane SSD等等，可以灵活地将uring bdev配置到对应的应用和服务中。如图1可以将NVMe SSD分别配置成不同的bdev类型，给到SPDK的bdevperf测试工具：

  1. SPDK用户态NVMe Bdev (对应通过用户态NVMe驱动来操作NVMe SSD)

  2. SPDK Uring Bdev (对应通过io_uring来操作NVMe SSD)

  3. SPDK Linux AIO Bdev (对应通过Libaio来操作NVMe SSD)

                                                 图1：SPDK支持不同的Bdev

首先，回顾下SPDK (Storage Performance Development Kit) 的出发点，为了充分使用到CPU的能力和发挥出高速NVMe SSD的性能，SPDK (https://spdk.io/) 开发了用户态的NVMe驱动，并引入了异步并发、轮询、无锁、单线程Run-To-Completion等优化。相关的重点优化如图2：

最低0.47元/天 解锁文章
DPDK技术员
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
网络编程的未来，io_uring？
weixin_37097605的博客
06-24 2728
点击上方蓝字 关注我们网络编程的未来，io_uring？--浅谈SPDK中基于POSIX以及io_uring的高效Socket实现杨子夜 | Intel 存储软件开发工程师前言熟悉Li...
存储底层SPDK与io_uring IO机制对比
最新发布
大隐隐于野
12-20 1087
这里体现的是SPDK用户态驱动的Scale Up的能力，当CPU Core的处理没有达到上限的时候，整体的IOPS会随着NVMe SSD数量的增加而线性增加。如果我们不考虑CPU Core的使用和限制，从打满单个NVMe SSD角度看，即使在libaio异步处理的情况下，同样可以占用多个CPU Core，分配多个FIO jobs，设置比较高的队列深度，比如常规的 4 jobs * 64队列深度/job，也通常可以把单个NVMe SSD打满。图5：单CPU Core，io_uring与SPDK对比。
可实现RSSD云硬盘120万IOPS的SPDK IO路径优化实践
weixin_34122548的博客
05-31 221
一 简介 用户对超高并发、超大规模计算等需求推动了存储硬件技术的不断发展，存储集群的性能越来越好，延时也越来越低，对整体IO路径的性能要求也越来越高。在云硬盘场景中，IO请求从生成到后端的存储集群再到返回之间的IO路径比较复杂，虚拟化IO路径尤其可能成为性能瓶颈，因为虚机内所有的IO都需要通过它下发给后端的存储系统。我们使用了SPDK来优化虚拟化IO路径，提出了开源未解决的SDPK热升级和在线迁移...
rio：纯锈io_uring库，基于libc构建，对线程和异步友好，抗滥用
02-03
io_uring 的核心优势在于其预提交和批处理机制，允许应用程序在内核中批量注册 I/O 请求，而不是传统的中断驱动模型，后者会在每个操作完成时触发上下文切换。这种优化减少了系统调用的开销，提升了整体性能，尤其...
uring:用于io_uring框架的Golang库（无CGO）
05-23
io_uring是异步IO的新内核接口。 最好的介绍是。 请注意，该库主要在5.8。*内核上进行了测试。 虽然该库的核心未使用任何新功能，但将通过io_uring在内核上工作，该io_uring支持标志IORING_SETUP_CQSIZE和IORING_...
io_uring-by-example:io_uring by Example文章系列的配套存储库
05-13
该程序在那里说明了同步I / O和异步io_uring API之间的区别。 02_cat_uring ：本示例使用io_uring提供的原始接口构建cat版本。 这样做是为了使用户了解io_uring界面在低层如何工作。 03_cat_liburing ：此示例在...
io_uring_fun
02-13
`io_uring`是Linux内核提供的一种新的异步I/O接口，自Linux 5.1版本引入。它旨在提高系统在处理大量并发I/O请求时的性能，尤其对于网络和存储操作。`io_uring`的设计目标是减少用户空间和内核之间的上下文切换，通过...
SPDK开发手册中文版.docx
06-08
SPDK（存储性能开发套件）官方文档中文版。 第一章 简介 1 1.1.什么是SPDK？ 1 1.2.入门 1 1.3. Vagrant开发环境 3 1.4.更新日志（略） 6 第二章 概念 6 2.1. 用户空间驱动程序** 6 2.2. 来自用户空间的DMA** 7 2.3. 消息传递和并发** 9 2.4. NAND Flash SSD内部 13 2.5. 将I / O提交到NVMe设备** 15 2.5.1 NVMe规范 15 2.5.2 SPDK NVMe驱动程序I / O路径 15 2.6. 使用Vhost-user进行虚拟化I / O. 16 2.6.1 介绍 16 2.6.2 QEMU 17 2.6.3 设备初始化 18 2.6.4 I / O路径 19 2.6.5 SPDK优化 20 2.7. SPDK目录结构概述 20 2.8. SPDK移植指南 22 第三章 用户指南 22 3.1. 系统配置用户指南 22 3.1.1 IOMMU配置 22 3.2. SPDK应用程序概述 23 3.2.1 配置SPDK应用程序 23 3.3. iSCSI Target 26 3.3.1. iSCSI Target入门指南 26 3.3.2. 通过配置文件配置iSCSI Target 27 3.3.3. 通过RPC方法配置iSCSI Target 28 3.3.4. 配置iSCSI启动器 29 3.3.5. rpc配置示例*** 30 3.3.6. iSCSI 热插拔 32 3.4. NVMe over Fabrics Target 32 3.5. Vhost Target（略） 37 3.6 块设备用户指南 38 3.6.1 bdev介绍 38 3.6.2 通用RPC命令 38 3.6.3 Ceph RBD 39 3.6.4 压缩虚拟Bdev模块 40 3.6.5 加密虚拟Bdev模块 41 3.6.6 延迟vbdev模块 41 3.6.7 GPT（GUID分区表） 42 3.6.8 iSCSI bdev 43 3.6.9 Linux AIO bdev 43 3.6.10 OCF虚拟bdev 43 3.6.11 Malloc bdev 44 3.6.12 NULL bdev 44 3.6.13 NVMe bdev 44 3.6.14 逻辑卷Lvol 45 3.6.15 RAID 46 3.6.16 Passthru 46 3.6.17 Pmem 46 3.6.18 Virtio Block 47 3.6.19 Virtio SCSI 47 3.7 BlobFS（Blobstore文件系统） 48 3.7.1 RocksDB集成 48 3.7.2 FUSE插件 49 3.8 JSON-RPC方法（略） 49 第四章 程序员指南 49 4.1. Blobstore程序员指南 49 4.1.1 介绍 50 4.1.2 运作理论 50 4.1.3 设计注意事项 52 4.1.4 例子 54 4.1.5配置 54 4.1.6 组件细节 54 4.2. 块设备层编程指南 56 4.3 编写自定义块设备模块 58 4.3.1 介绍 58 4.3.2 创建一个新模块 59 4.3.3创建虚拟Bdev 60 4.4 NVMe over Fabrics目标编程指南 61 4.4.1 介绍 61 4.4.2 原语结构体 61 4.4.3 基础函数 62 4.4.4访问控制 62 4.4.5发现子系统 62 4.4.6 传输 63 4.4.7选择线程模型 63 4.4.8 跨CPU核心扩展 63 4.4.9 零拷贝支持 63 4.4.10 RDMA 63 4.5 Flash传输层 64 4.5.1 术语 64 4.5.2 使用方法 67 4.6 GDB宏用户指南 69 4.6.1 介绍 69 4.6.2 加载gdb宏 71 4.6.3 使用gdb数据目录 72 4.6.4 使用.gdbinit加载宏 72 4.6.5 为什么我们需要显式调用spdk_load_macros 72 4.6.6 以上可用的宏总结 73 4.6.7 添加新宏 73 4.7 SPDK “Reduce”块压缩算法 73 4.7.1 介绍 73 4.7.2 例子 74 4.8 通知库 78 第五章 基本信息 79 5.1 事件框架 79 5.1.1 事件框架设计注意事项 80 5.1.2 SPDK事件框架组件 80 5.1.3 应用框架 80 5.2 逻辑卷 81 5.2.1 术语 81 5.2.2 配置逻辑卷 84 5.3 矢量数据包处理（略） 86 第六章 杂项 86 6.1 介绍 86 6.2 NVMe的P2P API 86 6.3 确定设备支持 87 6.4 P2P问题 87 第七章 驱动程序 88 7.1 NVMe驱动程序*** 88 7.1.1 介绍 88 7.1.2 例子 88 7.1.3 公共接口 89 7.1.4 NVMe驱动程序设计 89 7.1.5 NVMe over Fabrics主机支持 91 7.1.6 NVMe多进程 91 7.1.7 NVMe Hotplug 92 7.2 I/OAT驱动程序 93 7.2.1 公共接口 93 7.2.2 关键功能 93 7.3 Virtio驱动程序 93 7.3.1 介绍 93 7.3.2 2MB大页面 93 第八章 工具 94 8.1 SPDK CLI 94 8.1.1 安装所需的依赖项 94 8.1.2 运行SPDK应用程序实例 94 8.1.3 运行SPDK CLI 94 8.1.4 可选 - 创建Python虚拟环境 94 8.2 nvme-CLI 95 8.2.1 nvme-cli with SPDK入门指南 95 8.2.2 使用场景 95 第九章 性能测试报告（略） 96 第十章NVMe-oF Target跟踪点*** 96 10.1 介绍 96 10.2 启用跟踪点 97 10.3 捕获事件的快照 97 10.4 捕获足够的跟踪事件 98 10.5 添加新的跟踪点 99
SPDK | 每秒8千万次I/O性能实现
weixin_37097605的博客
07-21 403
What？每秒可实现8000万次I/O，使用标准2U英特尔® 至强® 系统！今天我们与大家分享一篇关于SPDK IOPS性能的文章，原文作者为John Kariuki，发表于2021年5月...
【SPDK】三、IO流程代码解析
oshhh的博客
02-06 506
bdev_io继续往驱动层递交，它会扩展为适配具体驱动的io对象，例如针对NVMe驱动，bdev_io将扩展成nvme_bdev_io对象。reactor取出响应后，根据其id找到对应的nvme_bdev_io，进一步关联到对应的bdev_io，再调用bdev_io中的记录的回调函数。vhost-blk下发请求时注册的回调函数为blk_request_complete_cb，回调参数为当前的spdk_vhost_blk_task对象。/* iovs数组将来会记录IO请求中数据段的内存映射信息 */
SPDK——每秒8千万次I/O性能实现
lingshengxiyou的博客
09-09 299
结合最新的第三代英特尔® 至强® 可扩展处理器(代号为Ice Lake)和英特尔® Optane™ SSDs，SPDK社区构建了2U英特尔® 至强® 服务器系统，该系统能够承载 8千万的512字节的随机I/O读取操作。SPDK在过去几年实现了超1千万IOPS（使用一个CPU核心）的系统，如今，我们将大幅提升技术水平，向8千万IOPS进发。此外，SPDK NVMe驱动程序呈线性IOPS可扩展性，因为没有对I/O路径添加锁，且将I/O线程固定在CPU核上，数据得以保留在访问过的CPU的核缓存上。
【SPDK】二、IO栈对比与线程模型
oshhh的博客
02-06 241
另一方面，在吞吐量(IOPS)方面，如果我们给virtio-blk设备配置多队列(确保虚拟机IO压力足够)，并在后端NVMe设备不成为瓶颈的前提下，传统NVMe IO栈在单个qemu io线程处理时，最多能达到20万IOPS，而SPDK vhost在单线程处理时可达100万IOPS，传统NVMe IO栈在处理多队列模型时，相比单队列模型，减少了线程间通知开销，一次通知可以处理多个IO请求，因此多队列相比单队列模型会有较大的IOPS提升；同等CPU开销下，吞吐量上有5倍以上的性能提升。IO栈对比与时延分析。
Linux 5.1内核AIO 的新归宿：io_uring
Linux阅码场
06-30 4644
作者/公司介绍@panic，SmartX 存储研发工程师。SmartX是中国领先的超融合产品与企业云解决方案提供商，拥有国内最顶尖的分布式存储和超融合架构研发团队...
一文详细讲解 io_uring
youzhangjing_的博客
11-11 1382
Linux内核5.1支持了新的异步IO框架iouring，由Block IO大神也即Fio作者Jens Axboe开发，意在提供一套公用的网络和磁盘异步IO，不过io_uring目前在磁盘方面要比网络方面更加成熟。熟悉Linux系统编程的同学都清楚，Linux并没有提供完善的异步IO(网络IO、磁盘IO)机制。
【SPDK入门】
weixin_43273308的博客
11-06 1615
SPDK (Storage performance development kit, http://spdk.io) 是由Intel发起、用于加速使用NVMe SSD作为后端存储的应用软件加速库。Intel对SPDK的定义是利用**用户态、异步、轮询方式**的NVMe驱动，用于加速**NVMe SSD**作为后端存储使用的应用软件的**加速库**
SPDK应用概述
探索未知，成就非凡
06-28 200
SPDK 主要是一个开发套件，提供用于其他应用程序的库和头文件。然而，SPDK还包含许多应用程序。这些应用程序主要用于测试库，但许多应用程序功能齐全且质量很高。SPDK的主要应用有：iSCSI 目标NVMe over Fabrics 目标虚拟主机目标SPDK Target（结合以上三者的统一应用程序）SPDK 目标均基于通用框架，因此它们有很多共同点。该框架定义了一个称为“subsystem”的概念，所有功能都在各个子系统中实现。子系统有统一的初始化和卸载路径。
mac rust io-uring
09-06
Mac Rust io-uring是一种在Mac操作系统上使用Rust语言进行开发的io-uring库。 io-uring是Linux内核中的一个新特性，它为应用程序提供了一种高性能、高效率的异步I/O操作方式。它通过使用事件驱动和无锁技术，实现了在高并发环境下进行文件操作的优化。io-uring提供了更低的系统开销和更高的吞吐量，特别适用于需要大量I/O操作的应用程序。 虽然io-uring最初是为Linux内核设计的，但由于其高性能的特性，一些开发者试图将其移植到其他操作系统上。其中，Mac Rust io-uring就是一个在Mac操作系统上使用Rust语言实现io-uring的库。 使用Mac Rust io-uring，开发者可以在Mac环境下利用io-uring的特性来提高文件操作的性能。这对于需要进行大量I/O操作的应用程序来说，是一个很有价值的工具。例如，对于数据库、Web服务器或文件传输等应用，通过使用Mac Rust io-uring，可以显著提高其性能和吞吐量。 Mac Rust io-uring不仅提供了对io-uring的封装，还提供了一些更高级别的功能和接口，以方便开发者使用。开发者可以使用Mac Rust io-uring来实现一些高级的文件操作，例如批量读取或写入文件，提高数据处理的效率。 总之，Mac Rust io-uring是一个在Mac操作系统上使用Rust语言开发的io-uring库，它能够为开发者提供高性能的异步I/O操作方式，从而提高应用程序的性能和吞吐量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值