2018 SPDK中国技术峰会系列：SPDK开源社区开发及测试流程

最新推荐文章于 2024-06-06 16:56:38 发布
最新推荐文章于 2024-06-06 16:56:38 发布
阅读量220 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37097605/article/details/101514430
版权
640?wx_fmt=png

     Storage Performance Development Kit (https://spdk.io)，是Intel推出的开源软件，旨在帮助客户优化存储系统的性能。2018年3月23日，为进一步促进SPDK技术以及社区的发展，由Intel主办、SDNLAB协办的SPDK中国技术峰会2018在北京圆满落幕，来自国内外的150余位志同道合的伙伴齐聚一起，共同探讨了SPDK的现状和未来发展趋势。

640?wx_fmt=png
640?wx_fmt=jpeg

640?wx_fmt=png

在接下来的几期，我们将推出2018 SPDK中国技术峰会回顾专题系列，与大家一起分享和探讨SPDK技术方法和技术成果。

本期演讲来自于Intel高级软件工程师万群、闫亮，主题是“SPDK开源社区开发及测试流程”。他们在SPDK Community Engagement 101、SPDK社区工作流程、SPDK中RPC部署、参考网址、SPDK相关资料、开发及测试流程等方面进行了细致的介绍。

640?wx_fmt=png
640?wx_fmt=png

 点击下方视频，观看精彩回顾

 往期精选 

640?wx_fmt=gif

点击阅读原文，进入SPDK网站获取更多信息

weixin_37097605
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SPDK介绍
weixin_60043341的博客
08-16 5416
SPDK是一套存储开发套件，专门为专用设备(NVME)设计。全称是The Storage Performance Development Kit。SPDK提供了一系列的高性能、可扩展、用户态下面的工具和库。它有如下三个优势存储设备的驱动代码运行在用户态，不会运行在内核态，避免了内核的上下文切换节省了大量的处理开销，节省下来的CPU时间片可以用于实际的数据处理，比如重复数据剔除、压缩、加密。SPDK的原则是通过消除每一处额外的软件开销来提供最少的延迟和最高的效率。...
SPDK详解：磁盘读取性能的加速利器
weixin_36184908的博客
05-06 523
SPDK（Storage Performance Development Kit）是一个用于提高存储性能的软件库，旨在为存储应用提供更低的延迟和更高的吞吐量。通过消除操作系统内核的开销，SPDK可以实现更高效的数据访问，从而为各种存储应用提供强大的性能支持。SPDK框架为高性能磁盘存储提供了强大的支持，通过了解其优点和使用方法，你可以更好地利用SPDK提升存储性能。示例代码为你提供了一个基本的SPDK服务器搭建模板，你可以在此基础上编写自己的存储应用。
SPDK的本地环境搭建和本地测试方法
最新发布
developersupport的博客
06-06 662
SPDK（Storage Performance Development Kit），顾名思义是一组用于提高存储性能的开发工具包，提供了一组用于编写高性能、可伸缩、用户态存储应用程序的工具和库。SPDK可以通过如下关键技术提高性能：1) 将所有必需的驱动程序移至用户空间，这样就避免了系统调用，并允许从应用程序中进行零拷贝访问；2) 轮询硬件任务的完成而不是依靠中断，这会降低总延迟和延迟抖动；3) 避免在I/O路径中出现锁, 而是依赖消息传递。
SPDK简介
探索未知，成就非凡
06-21 381
SPDK（Storage Performance Development Kit）是一种开源工具集，旨在提供高性能、低延迟的存储系统开发环境。它由英特尔公司开发并维护，可帮助开发人员利用现代的硬件加速技术，如非易失性内存（NVM）、固态硬盘（SSD）等，实现存储应用程序的高性能。SPDK主要关注的是用户态（user-space）存储应用程序的开发。传统上，存储应用程序通常在内核态（kernel-space）运行，这会导致额外的上下文切换和数据拷贝，降低了系统性能。
SPDK学习笔记
所念皆星河
01-27 1417
框架（Framework）是一个框子——指其约束性，也是一个架子——指其支撑性，也就是说： 1）框架本身一般不完整到可以解决特定问题； 2）框架天生就是为扩展而设计的； 3）框架里面可以为后续扩展的组件提供很多辅助性、支撑性的方便易用的实用工具（utilities），也就是说框架时常配套了一些帮助解决某类问题的库（libraries）或工具（tools）。 virtio 是针对 Linux 的 I/O 虚拟化框架。virtio 并没有提供多种设备模拟机制（针对网络、块和其他驱动程序），而是为这些设备模拟.
2021SPDK线上论坛（三） | SPDK高性能NVMe虚拟化方案
weixin_37097605的博客
07-27 251
2021 SPDK 中国线上论坛2021年12月，Intel举办了 SPDK, PMDK, Intel® Performance Analyzers Online Forum。今天给大家带来英特尔高级软件工程师Liu Changpeng在论坛上的技术分享：《SPDK高性能NVMe虚拟化方案》，分享内容分为以下四部分：1、NVMe背景介绍2、模拟NVMe设备3、NVMe ...
2021中国网络开源技术生态峰会PPT汇总.zip
09-18
2021中国网络开源技术生态峰会PPT汇总，共21份。 轻量级k8s构建开放式边缘计算架构 白盒开放场景及研究探讨 大网网络操作系统+云网融合的智慧大脑 不断扩展的云网络边界和开源技术在其中的应用 网络操作系统-从开源...
DPDK技术峰会：腾讯的开源协议栈F-Stack.pdf
12-04
DPDK技术峰会PPT讲稿 DPDK开发者大会讲稿 文档讨论了腾讯的开源协议栈F-Stack，设计原则、架构、主要组件、性能及其在腾讯公司内的发展历史，F-Stack, a Full User Space Network Service on DPDK – Haigong Wang @...
2018WOT全球架构与运维技术峰会系列专题
07-22
2018WOT全球架构与运维技术峰会系列专题资源目录：【】2018WOT全球架构与运维技术峰会—AR创新技术实践专场【】2018WOT全球架构与运维技术峰会—DevOps转型之路专场【】2018WOT全球架构与运维技术峰会—IOT开发技术...
GOTC 2021全球开源技术峰会PPT汇总.zip
10-12
GOTC 2021全球开源技术峰会- Gitee：13年的开源中国路 GOTC 2021全球开源技术峰会-从基础设施开源看技术开放 GOTC 2021全球开源技术峰会-基础技术开源开放 激发AI创新动能 GOTC 2021全球开源技术峰会-开源，百度的...
SPDK开发手册中文版.docx
06-08
SPDK（存储性能开发套件）官方文档中文版。 第一章 简介 1 1.1.什么是SPDK？ 1 1.2.入门 1 1.3. Vagrant开发环境 3 1.4.更新日志（略） 6 第二章 概念 6 2.1. 用户空间驱动程序** 6 2.2. 来自用户空间的DMA** 7 2.3. 消息传递和并发** 9 2.4. NAND Flash SSD内部 13 2.5. 将I / O提交到NVMe设备** 15 2.5.1 NVMe规范 15 2.5.2 SPDK NVMe驱动程序I / O路径 15 2.6. 使用Vhost-user进行虚拟化I / O. 16 2.6.1 介绍 16 2.6.2 QEMU 17 2.6.3 设备初始化 18 2.6.4 I / O路径 19 2.6.5 SPDK优化 20 2.7. SPDK目录结构概述 20 2.8. SPDK移植指南 22 第三章 用户指南 22 3.1. 系统配置用户指南 22 3.1.1 IOMMU配置 22 3.2. SPDK应用程序概述 23 3.2.1 配置SPDK应用程序 23 3.3. iSCSI Target 26 3.3.1. iSCSI Target入门指南 26 3.3.2. 通过配置文件配置iSCSI Target 27 3.3.3. 通过RPC方法配置iSCSI Target 28 3.3.4. 配置iSCSI启动器 29 3.3.5. rpc配置示例*** 30 3.3.6. iSCSI 热插拔 32 3.4. NVMe over Fabrics Target 32 3.5. Vhost Target（略） 37 3.6 块设备用户指南 38 3.6.1 bdev介绍 38 3.6.2 通用RPC命令 38 3.6.3 Ceph RBD 39 3.6.4 压缩虚拟Bdev模块 40 3.6.5 加密虚拟Bdev模块 41 3.6.6 延迟vbdev模块 41 3.6.7 GPT（GUID分区表） 42 3.6.8 iSCSI bdev 43 3.6.9 Linux AIO bdev 43 3.6.10 OCF虚拟bdev 43 3.6.11 Malloc bdev 44 3.6.12 NULL bdev 44 3.6.13 NVMe bdev 44 3.6.14 逻辑卷Lvol 45 3.6.15 RAID 46 3.6.16 Passthru 46 3.6.17 Pmem 46 3.6.18 Virtio Block 47 3.6.19 Virtio SCSI 47 3.7 BlobFS（Blobstore文件系统） 48 3.7.1 RocksDB集成 48 3.7.2 FUSE插件 49 3.8 JSON-RPC方法（略） 49 第四章 程序员指南 49 4.1. Blobstore程序员指南 49 4.1.1 介绍 50 4.1.2 运作理论 50 4.1.3 设计注意事项 52 4.1.4 例子 54 4.1.5配置 54 4.1.6 组件细节 54 4.2. 块设备层编程指南 56 4.3 编写自定义块设备模块 58 4.3.1 介绍 58 4.3.2 创建一个新模块 59 4.3.3创建虚拟Bdev 60 4.4 NVMe over Fabrics目标编程指南 61 4.4.1 介绍 61 4.4.2 原语结构体 61 4.4.3 基础函数 62 4.4.4访问控制 62 4.4.5发现子系统 62 4.4.6 传输 63 4.4.7选择线程模型 63 4.4.8 跨CPU核心扩展 63 4.4.9 零拷贝支持 63 4.4.10 RDMA 63 4.5 Flash传输层 64 4.5.1 术语 64 4.5.2 使用方法 67 4.6 GDB宏用户指南 69 4.6.1 介绍 69 4.6.2 加载gdb宏 71 4.6.3 使用gdb数据目录 72 4.6.4 使用.gdbinit加载宏 72 4.6.5 为什么我们需要显式调用spdk_load_macros 72 4.6.6 以上可用的宏总结 73 4.6.7 添加新宏 73 4.7 SPDK “Reduce”块压缩算法 73 4.7.1 介绍 73 4.7.2 例子 74 4.8 通知库 78 第五章 基本信息 79 5.1 事件框架 79 5.1.1 事件框架设计注意事项 80 5.1.2 SPDK事件框架组件 80 5.1.3 应用框架 80 5.2 逻辑卷 81 5.2.1 术语 81 5.2.2 配置逻辑卷 84 5.3 矢量数据包处理（略） 86 第六章 杂项 86 6.1 介绍 86 6.2 NVMe的P2P API 86 6.3 确定设备支持 87 6.4 P2P问题 87 第七章 驱动程序 88 7.1 NVMe驱动程序*** 88 7.1.1 介绍 88 7.1.2 例子 88 7.1.3 公共接口 89 7.1.4 NVMe驱动程序设计 89 7.1.5 NVMe over Fabrics主机支持 91 7.1.6 NVMe多进程 91 7.1.7 NVMe Hotplug 92 7.2 I/OAT驱动程序 93 7.2.1 公共接口 93 7.2.2 关键功能 93 7.3 Virtio驱动程序 93 7.3.1 介绍 93 7.3.2 2MB大页面 93 第八章 工具 94 8.1 SPDK CLI 94 8.1.1 安装所需的依赖项 94 8.1.2 运行SPDK应用程序实例 94 8.1.3 运行SPDK CLI 94 8.1.4 可选 - 创建Python虚拟环境 94 8.2 nvme-CLI 95 8.2.1 nvme-cli with SPDK入门指南 95 8.2.2 使用场景 95 第九章 性能测试报告（略） 96 第十章NVMe-oF Target跟踪点*** 96 10.1 介绍 96 10.2 启用跟踪点 97 10.3 捕获事件的快照 97 10.4 捕获足够的跟踪事件 98 10.5 添加新的跟踪点 99
spdk探秘-----块设备开发指导
cyq6239075的博客
06-13 1564
这里的块设备是一种存储设备，它支持在固定大小的块中读写数据。这些块通常是512或4096字节。这些设备可能是软件中的逻辑结构，或者对应于像NVMe ssd这样的物理设备。 通用库的公共头文件是bdev.h，它是与任何类型的块设备交互所需的全部API。 除了为所有块设备提供一个通用的抽象之外，bdev层还提供了许多有用的特性: 1、I/O请求自动排队，以响应队列满或内存不足的情况 2、热删除支持，即使有I/O流量时。 3、I/O统计信息，如带宽和延迟 4、设备重启和I/O超时跟踪 struct
SPDK 的测试 fio 与 pref 方法及结果
caijunliyanqing的专栏
08-20 3631
测试磁盘型号：Intel® SSD D5-P4420 型号官网相关性能参数： 测试指标： 通常，对于一个磁盘的性能，我们主要从三方面去评估：IOPS、bandwidth、latency。 IOPS：通常评估磁盘的IOPS，主要关注块大小为4k，随机读写的情况。因此，通常fio关键参数为：bs=4k，iodepth=128，direct=1，rw=randread/randwrite。 Bandwidth：评估磁盘的bandwidth，通常是关注块大小为128k，顺序读写的情况。因此，通常fio
【声明】DPDK开源社区更名为“DPDK与SPDK开源社区”
weixin_37097605的博客
08-13 2291
DPDK与SPDK开源社区更 名 通 知DPDK开源社区公众号自2016年起进入公众视野，非常感谢大家一直以来的支持。由于网络存储联系日益紧密，同时应广大粉丝要求，即日起...
2021 SPDK线上论坛（一） | 针对BSC智能网卡的存储场景和性能分析
weixin_60043341的博客
08-22 570
Dpdk/网络协议栈/ vpp /OvS/DDos/NFV/虚拟化/高性能专家 上课地址: https://ke.qq.com/course/5066203?DPDK开发学习资料、教学视频和学习路线图分享有需要的可以自行添加学习交流q 君羊909332607备注（XMG） 获取。DPDK 学习资料、教学视频和学习路线图 ：https://space.bilibili.com/1600631218。3、BSC裸金属应用场景。4、BSC虚拟化应用场景。
SPDK发布18.04
weixin_37097605的博客
05-18 299
DPDK邀您关注SPDK18.04SPDK 18.04版本——逻辑卷快照／克隆、iSCSI启动器、Bdev 质量服务和VPP用户空间TCP/IP近期，SPDK团队正式发布...
DPDK未来网络技术沙龙系列：基于FD.io和VPP技术构建MEC和IoT网络基础架构
weixin_37097605的博客
08-01 373
FD.IO社区中国行暨未来网络技术沙龙南京站 在本期的视频中，中兴通讯软件工程师王辉演讲的题目是《基于FD.io和VPP技术构建MEC和IoT网络基础架构》，给大家...
DPDK系列之二：pktgen-dpdk向testpmd发送数据的测试
热门推荐
cloudvtech的博客
05-28 1万+
一、前言
dpdk技术峰会:腾讯的开源协议栈f-stack.pdf
07-18
腾讯的开源协议栈f-stack.pdf在DPDK技术峰会上的推出，标志着中国企业在高性能网络技术领域的一次重要突破。它的出现将有助于促进我国网络技术的创新和发展，并提升我国在全球高性能网络领域的竞争力。 ### 回答2...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值