SPDK代码结构浅析

最新推荐文章于 2023-05-06 01:58:05 发布
最新推荐文章于 2023-05-06 01:58:05 发布
阅读量502 收藏
点赞数
分类专栏： linux DPDK c++ 文章标签： 开发语言 linux 后台开发 spdk 程序员
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lingshengxiyou/article/details/128387097
版权
下面是NVMe协议通过RDMA的I/O传送的调用栈，从一个poller->fn的回调开始，可以看到在poller的处理中，通过从消息队列中取出request的消息，再从收到的消息所包含的回调函数io->fn中，才真正实现通过RDMA的写操作。SPDK (Storage Performance Development Kit)其实就是在用户空间，采用轮询的方式无锁的NVMe的驱动，提供从用户空间应用程序到SSD的零拷贝。在后续的poller挂在的函数中对ring-buffer中的消息进行处理。
摘要由CSDN通过智能技术生成

最近这三周时间一直因为工作的需要在研究SPDK移植到RISCV平台上，在编译通过的时候，也顺带把SPDK的代码粗粗过了一遍，顺便做了一点笔记。

SPDK (Storage Performance Development Kit)其实就是在用户空间，采用轮询的方式无锁的NVMe的驱动，提供从用户空间应用程序到SSD的零拷贝。

整体的代码结构框图，大家可以从网上搜搜，有很多的文章讲这部分，笔者这里从代码细节的角度来逐个分析它的一些功能。

  1. SPDK系统的建立，通过如下函数的调用，SPDK主要做了如下几个步骤：
  • 为每个logical-core建立一个对应的reactor的线程，其线程的入口函数为eal_thread_loop()
  • 同时将reactor_run()注册到每cpu的变量lcore_config[].f中
  • 当前线程分别通过pipe发送消息给其他logic-core上运行thread，此时由于其他logic-core上的线程会等待各自pipe上的消息，当前core上发送的pipe消息一旦被对端的线程所受到，则分别注册reactor run函数就可以分别运行在各自的线程中了

2. 以下函数调用栈是整个SPDK架构的关键所在。

  • 在reactor的run函数中是个死循环
  • 它分别运行在各自的logic-core的线程上
  • 每个线程上的reactor可以互相通过ring-buffer进行通信，收到消息的一方&
最低0.47元/天 解锁文章
lingshengxiyou
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SPDK/NVMe存储技术的源码分析（二）
lingshengxiyou的博客
08-27 393
ibv_get_device_list()是一个verbs API，调用ibv_post_send()之前必须先调用ibv_get_device_list去获取RDMA设备列表。L173-177: 维护全局链表head_driver, tail_driver可以理解为指向该链表的尾结点的指针，那么在L162申请的结点driver就是通过尾插法加入到链表head_driver中去的。通过反汇编，虽然在main()调用的是ibv_xxx()，但是本质上是调用__ibv_xxx()。...............
SPDK源码分析
weixin_60043341的博客
08-16 1410
SPDK(全称Storage Performance Development Kit)，提供了一整套工具和库，以实现高性能、扩展性强、全用户态的存储应用程序。它是继DPDK之后，intel在存储领域推出的又一项颠覆性技术，旨在大幅缩减存储IO栈的软件开销，从而提升存储性能，可以说它就是为了存储性能而生。为便于大家理解，我们先介绍一下SPDK在虚拟化场景下的使用方法，以给大家一些直观的认识。1. DPDK的编译与安装。...
SPDK
Hello_NB1的博客
03-03 3803
文章的具体内容将会一点的展开. TODO: SPDK综述, SPDK使用, SPDK代码概述 SPDK综述 SPDK使用 SPDK代码概述 参考: INTEL SPDK介绍
简单修改SPDK代码以供测试
baidu_41778202的博客
10-10 537
基于SPDK的示例代码，完成简单的测试需求
SPDK开发手册中文版.docx
06-08
SPDK（存储性能开发套件）官方文档中文版。 第一章 简介 1 1.1.什么是SPDK？ 1 1.2.入门 1 1.3. Vagrant开发环境 3 1.4.更新日志（略） 6 第二章 概念 6 2.1. 用户空间驱动程序** 6 2.2. 来自用户空间的DMA** 7 2.3. 消息传递和并发** 9 2.4. NAND Flash SSD内部 13 2.5. 将I / O提交到NVMe设备** 15 2.5.1 NVMe规范 15 2.5.2 SPDK NVMe驱动程序I / O路径 15 2.6. 使用Vhost-user进行虚拟化I / O. 16 2.6.1 介绍 16 2.6.2 QEMU 17 2.6.3 设备初始化 18 2.6.4 I / O路径 19 2.6.5 SPDK优化 20 2.7. SPDK目录结构概述 20 2.8. SPDK移植指南 22 第三章 用户指南 22 3.1. 系统配置用户指南 22 3.1.1 IOMMU配置 22 3.2. SPDK应用程序概述 23 3.2.1 配置SPDK应用程序 23 3.3. iSCSI Target 26 3.3.1. iSCSI Target入门指南 26 3.3.2. 通过配置文件配置iSCSI Target 27 3.3.3. 通过RPC方法配置iSCSI Target 28 3.3.4. 配置iSCSI启动器 29 3.3.5. rpc配置示例*** 30 3.3.6. iSCSI 热插拔 32 3.4. NVMe over Fabrics Target 32 3.5. Vhost Target（略） 37 3.6 块设备用户指南 38 3.6.1 bdev介绍 38 3.6.2 通用RPC命令 38 3.6.3 Ceph RBD 39 3.6.4 压缩虚拟Bdev模块 40 3.6.5 加密虚拟Bdev模块 41 3.6.6 延迟vbdev模块 41 3.6.7 GPT（GUID分区表） 42 3.6.8 iSCSI bdev 43 3.6.9 Linux AIO bdev 43 3.6.10 OCF虚拟bdev 43 3.6.11 Malloc bdev 44 3.6.12 NULL bdev 44 3.6.13 NVMe bdev 44 3.6.14 逻辑卷Lvol 45 3.6.15 RAID 46 3.6.16 Passthru 46 3.6.17 Pmem 46 3.6.18 Virtio Block 47 3.6.19 Virtio SCSI 47 3.7 BlobFS（Blobstore文件系统） 48 3.7.1 RocksDB集成 48 3.7.2 FUSE插件 49 3.8 JSON-RPC方法（略） 49 第四章 程序员指南 49 4.1. Blobstore程序员指南 49 4.1.1 介绍 50 4.1.2 运作理论 50 4.1.3 设计注意事项 52 4.1.4 例子 54 4.1.5配置 54 4.1.6 组件细节 54 4.2. 块设备层编程指南 56 4.3 编写自定义块设备模块 58 4.3.1 介绍 58 4.3.2 创建一个新模块 59 4.3.3创建虚拟Bdev 60 4.4 NVMe over Fabrics目标编程指南 61 4.4.1 介绍 61 4.4.2 原语结构体 61 4.4.3 基础函数 62 4.4.4访问控制 62 4.4.5发现子系统 62 4.4.6 传输 63 4.4.7选择线程模型 63 4.4.8 跨CPU核心扩展 63 4.4.9 零拷贝支持 63 4.4.10 RDMA 63 4.5 Flash传输层 64 4.5.1 术语 64 4.5.2 使用方法 67 4.6 GDB宏用户指南 69 4.6.1 介绍 69 4.6.2 加载gdb宏 71 4.6.3 使用gdb数据目录 72 4.6.4 使用.gdbinit加载宏 72 4.6.5 为什么我们需要显式调用spdk_load_macros 72 4.6.6 以上可用的宏总结 73 4.6.7 添加新宏 73 4.7 SPDK “Reduce”块压缩算法 73 4.7.1 介绍 73 4.7.2 例子 74 4.8 通知库 78 第五章 基本信息 79 5.1 事件框架 79 5.1.1 事件框架设计注意事项 80 5.1.2 SPDK事件框架组件 80 5.1.3 应用框架 80 5.2 逻辑卷 81 5.2.1 术语 81 5.2.2 配置逻辑卷 84 5.3 矢量数据包处理（略） 86 第六章 杂项 86 6.1 介绍 86 6.2 NVMe的P2P API 86 6.3 确定设备支持 87 6.4 P2P问题 87 第七章 驱动程序 88 7.1 NVMe驱动程序*** 88 7.1.1 介绍 88 7.1.2 例子 88 7.1.3 公共接口 89 7.1.4 NVMe驱动程序设计 89 7.1.5 NVMe over Fabrics主机支持 91 7.1.6 NVMe多进程 91 7.1.7 NVMe Hotplug 92 7.2 I/OAT驱动程序 93 7.2.1 公共接口 93 7.2.2 关键功能 93 7.3 Virtio驱动程序 93 7.3.1 介绍 93 7.3.2 2MB大页面 93 第八章 工具 94 8.1 SPDK CLI 94 8.1.1 安装所需的依赖项 94 8.1.2 运行SPDK应用程序实例 94 8.1.3 运行SPDK CLI 94 8.1.4 可选 - 创建Python虚拟环境 94 8.2 nvme-CLI 95 8.2.1 nvme-cli with SPDK入门指南 95 8.2.2 使用场景 95 第九章 性能测试报告（略） 96 第十章NVMe-oF Target跟踪点*** 96 10.1 介绍 96 10.2 启用跟踪点 97 10.3 捕获事件的快照 97 10.4 捕获足够的跟踪事件 98 10.5 添加新的跟踪点 99
浅析Android代码质量管理
08-27
本文将浅析Android代码质量管理中的几个重要方面，并提供具体的实践示例。 首先，模板方法设计模式在Android开发中广泛应用于基类封装，如BaseActivity和BaseFragment。这种模式允许我们定义一个基本结构，而将具体...
class文件结构浅析
10-09
class文件结构浅析class文件结构浅析class文件结构浅析class文件结构浅析class文件结构浅析
代码生成原理浅析PPT
04-21
本文档是无垠式代码生成器研发阶段的理论探讨过程，对理解无垠式代码生成器源码和和平之翼代码生成器这两种动词算子式代码生成器是很重要的。
模型驱动体系结构浅析
10-14
在软件开发阶段，在开发之前有一个大体的开发模型，导致项目有一个开发目标。
Caffe代码浅析
11-06
caffe学习干货
DPDK中文-DPDK的ring
bestboyxie的专栏
11-30 8898
DPDK的ring是一个线程安全的队列 支持单生产者单消费模型 同时也支持多生产者多消费者模型 一、单生产者单消费者模型 二、多生产者对消费者模型 多生产者多消费者应该至少是由原子变量或者锁来完成的，而单生产者单消费者则可以做到完全无锁，效率感觉单生产者单消费应该是最高的；不然这个单生产者单消费者就没有存在的必要了；、 效率：单生产者单消费者最高 本文章的内
SPDK详解：磁盘读取性能的加速利器
最新发布
weixin_36184908的博客
05-06 528
SPDK（Storage Performance Development Kit）是一个用于提高存储性能的软件库，旨在为存储应用提供更低的延迟和更高的吞吐量。通过消除操作系统内核的开销，SPDK可以实现更高效的数据访问，从而为各种存储应用提供强大的性能支持。SPDK框架为高性能磁盘存储提供了强大的支持，通过了解其优点和使用方法，你可以更好地利用SPDK提升存储性能。示例代码为你提供了一个基本的SPDK服务器搭建模板，你可以在此基础上编写自己的存储应用。
SPDK技术浅析
lzx的博客
01-12 1213
命令本身描述了操作，还描述了主机内存中包含与命令关联的主机内存数据的位置，也就是我们要写入数据的位置，或将读取的数据放置到内存中的位置。实例都是一个些由大页内存组成的内存池，并且以特定的数据结构进行组织，其中支持的每个分配和使用的单元可以用于存储调用者的数据。不断轮询的方式，一旦查询到操作完成，则立马触发回调函数，给到上层用户程序，这样用户程序可以按需发送多个请求，以此提升性能。不是常规意义下的线程，实际是个逻辑上的概念，它没有具体的执行函数，其所有相关的操作均在。在针对网络存储解决方案中，当前主要有。
SPDK：存储性能开发套件（Storage Performance Development Kit）介绍
RToax
09-28 2590
SPDK的基础是用户空间，轮询模式，异步，无锁的NVMe驱动程序。这提供了零拷贝，高度并行的访问，可从用户空间应用程序直接访问SSD。该驱动程序被编写为具有单个公共标头的C库。SPDK还提供了完整的块堆栈作为用户空间库，该库执行与操作系统中的块堆栈相同的许多操作。这包括统一不同存储设备之间的接口，排队以处理诸如内存不足或I / O挂起之类的情况以及逻辑卷管理。SPDK 在这些组件之上提供了NVMe-oF，iSCSI和虚拟主机服务器，这些服务器能够通过网络或其他进程为磁盘提供服务。
基于 RISC-V SoC 的可配置 FFT 系统设计（5）高性能 RISC-V 内核的硬件设计
新芯设计的博客
01-15 2060
对于 FFT 系统，其 RISC-V 内核的设计决定了整个系统的功能，其 RISC-V 内核的性能也决定了整个系统的性能。本次设计就是按照如下的 RISC-V CPU 的硬件架构设计图来实现的。
深入理解dpdk rte_ring无锁队列
热门推荐
NTF的博客
04-06 2万+
一、简介 同样用面向对象的思想来理解无锁队列ring。dpdk的无锁队列ring是借鉴了linux内核kfifo无锁队列。ring的实质是FIFO的环形队列。 ring的特点： 无锁出入队（除了cas(compare and swap)操作）多消费/生产者同时出入队 使用方法： 1.创建一个ring对象。 接口：structrte_ring * rte_ring_
SPDK线程模型
lingshengxiyou的博客
08-20 943
SPDK(APP)在启动时候会让指定绑定在那些core上运行，这样在每个core上会创建一个线程(他叫reactor)，这个线程不停的做polling操作，而如果你要在这个线程上做事情，则需要注册poller（ 可以理解为一个poller就是SPDK中一个事情的thread入口函数，但是），这个线程就不停的调用poller的机型函数执行你要执行的动作。spdk_bdev_fn_table的注册函数 XXX_fn_table。bdev子系统的初始化函数：bdev_XXX_initialize。
深入理解SPDK之九：DPDK中的无锁队列
cbiqlux89468585的博客
08-31 1210
背景 分布式系统中读写模式的场景里，存在多个用户（卷）同时写的情况。对于单个盘而言，就是可能存在多个线程同时读写的场景。传统的做法可以通过互斥锁的方式避免并发读写的影响，C++也提供了boost::lock_free方式，此外DPDK 也提供了无锁 ring 的库。 由于这个队列是在IO路径上，要求访问这个队列高并发、低延时，为此需要评估上面的几种方法的整体性能。 三种接口的异同 C++：std:...
DPDK Release 20.11
weixin_37097605的博客
12-23 3388
圣诞CHRISTMASMERRY快乐一起来看看DPDK 20.11有哪些新功能和变化吧温馨提示：英文函数名较长，为了获得更佳的阅读体验，手机上建议横屏阅读~· 新功能 ·添加了合并写存储...
DPDK 无锁环形队列(Ring)详解
遇见你是我最美丽的意外
11-08 1万+
DPDK 无锁环形队列(Ring) 此篇文章主要用来学习和记录DPDK中无锁环形队列相关内容，结合了官方文档说明和源码中的实现，供大家交流和学习。 Author : Toney Email : vip_13031075266@163.com Date : 2020.11.8 Copyright : 未经同意不得转载！！！ version ： dpdk-2.2.0 文章目录DPDK 无锁环形队列(Ring)@[TOC]1. DPDK中的环形数据结构2. 环形队列：单生产者/单消费者模式2

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值