2021美国峰会系列三 | SPDK性能基准测试

最新推荐文章于 2023-03-29 20:11:42 发布
最新推荐文章于 2023-03-29 20:11:42 发布
阅读量173 收藏 1
点赞数
文章标签： java android linux 机器学习 大数据
原文链接：https://mp.weixin.qq.com/s?__biz=MzI3NDA4ODY4MA==&mid=2653338197&idx=1&sn=71604feb6cad47dff4037bd11e08c939&chksm=f0cb4dd2c7bcc4c4ae5652d00e2f148ea5aeaefd55849cfa03334fcad916f285c1ad1cb7f4e2&scene=126&&sessionid=0
版权

2021 SPDK 美国线上峰会

今天我们给大家带来的是2021年SPDK美国线上峰会的第三篇技术分享。

在峰会上，英特尔软件工程师Karol Latecki和John Kahiuki共同分享了《SPDK性能基准测试》，分享内容主要有以下四部分：

1、I/O性能

2、本地存储性能

3、以太网存储性能

4、虚拟存储性能

下面给大家展示此次分享的具体内容：

点击边框调出视频工具条

78a62530e0dede3796eb9607b0e97c59.png

a2c02811dd3384113c06316005f71b7c.png

2eccb2af1f59218871237494bd23c99a.png

0c71a68bae26d80ebe221f2c50ee1745.png

debc2160d5db9b78b656a7ef5a792db1.png

2c0cd3dca6673641b4bf5386f346af04.png

0c044c7f979864d19d3164ad9052b2ff.png

a8f3e0d974b84685bfe45534e22db90e.png

e347cba72b4cf1dd7c64640593e97e0a.png

3cc218d5ef834666ab3490ff78a80288.png

810a2e21be1b48547e6d601e2cf440c4.png

c64f6d31b6f7590d16c9cd20aca9cdeb.png

708c9d2501e0c56a2013931206ac4004.png

bda3e583875919a38fdcdbee022b77c1.png

cd3b5499be86696116eb770202e3da90.png

063eece70dcf7e090370ab923d2e9052.png

971ffcb6414a8af40c378eb603bd2e8f.png

210ca7fe367d4a94ad00489e812f6dd3.png

b8f9cf13699ee22eac05c62f54b79983.png

9b2626c728c4c0e88a7a49dded269526.png

2cc8f691901f2aa32a778ffe151f011f.png

88c7c955db295c38559859e565b56302.png

72af21385ea1133ae9783925128a7231.png

e8ae0e567010029bc07e9d4ff1f7ea25.png

624d58ea05ea7e60cc00502eda15f7eb.png

f40c4580d273841aae93ccab38ee6efa.png

53a2069a6046efcec4eff0a2795c2c48.png

a6e2c0f6c07a0979711003af1df8e23a.png

94e26b937d4c6cc81816b86789f64fd4.png

98e50427a5380baee9028bd04effc6a6.png

d1662d7ea307c57e0f6c73d027f4ff67.png

5af8c5a9f2f6ef754c9ab028dca54fd0.png

dfdfe126a1ea9e87e69b8baf2adbd5af.png

70757fd04246bd95ab840cdb76a3ea0d.png

e3b169e98d3ab4668a194dab4553805f.png

04650dd5c056028f6ad836dd52835b99.png

831b6aa903874efe38bf4b7256c13ec6.png

e7b9efbdb11b6686f6da0ba78c90f951.png

8e690ecb5fe2090906e0579875f867cb.png

4bbf43b9583bd724412c388a3430107a.png

384ac907c075591252a29cafb26183ba.png

9c9233e44df846509fb38f017f50860b.png

相关资源共享

👉 1.后台回复103，获取PPT下载链接

👉 2.Youtube 视频链接

https://www.youtube.com/watch?v=OFMxidkb4JE&list=PL4eJZ5XvN_LQ91sA7PBXiUEYtbTMEFUy1&index=4

1cd6cb9759372930604778f406b9c6ea.png

转载须知

DPDK与SPDK开源社区

公众号文章转载声明

推荐阅读

SPDK动态负载均衡

2021美国峰会系列二 | SPDK与云原生

基于英特尔平台的三星5G核心网高性能UPF 305 Gbps解决方案

SPDK 负载均衡初探

基于DPDK的设备虚拟化框架

dc0887c1961ec0c98f938fe1bfc98889.png

76553ac1b768740573808c2f05457082.gif

点点“赞”和“在看”，给我充点儿电吧~

weixin_37097605
关注
北斗导航 | ION GNSS+ 2021、 ION GNSS+ 2020会议论文下载：ION 美国导航学会
尘世冰封的专栏
10-23 2999
================================================ 博主github：https://github.com/MichaelBeechan 博主CSDN：https://blog.csdn.net/u011344545 ================================================ 后文有 ION GNSS+ 2021及 ION GNSS+ 2020论文下载链接 美国导航学会ION ION是美国导航学会(Institute
高性能计算基准测试程序（一）--NPB
热门推荐
Wiil的博客
09-19 1万+
基准测试程序基准测试程序（Benchmark）用于测试和预测计算机系统的性能，揭示不通结构机器的长处和短处，为用户决定购买或使用哪种机器最适合其应用需求提供决策，或为科研、使用等目的提供集群各项性能指标。基准测试程序试图客观、公正地评价机器性能，但涉及到得因素很多，包括硬件、体系架构、编译优化、编程环境、测试条件、解题算法等等。一组标准的测试程序要提供一组控制测试条件和步骤的规范说明，包括测试平台、
SPDK 的测试 fio
最新发布
lingshengxiyou的博客
03-29 443
上述配置文件将在时间上限为 60 秒的情况下，使用 4KB 块大小和 128 的 I/O 深度，在 /dev/nvme0n1 上进行随机写入测试，并且使用 SPDK 引擎执行测试。总的来说，使用 fio 测试 SPDK 的性能是一种有效的方式。具体的测试参数可以根据实际情况进行调整。SPDK 是一款高性能的存储开发套件，为了测试 SPDK 的性能，可以使用 fio 工具进行测试。测试完成后，fio 将显示测试结果的各种统计信息。其中，config_file_name.fio 是你创建的配置文件的名称。
SPDK性能测试 + fio
u013565071的博客
05-27 1924
1、下载编译好fio axboe/fio: Flexible I/O Tester (github.com) 在Linux环境编译生成可执行文件 ./configure make 2、编译支持fio的SPDK，在build/fio目录下，会生成spdk_nvme, spdk_bdev两个文件，用于fio测试spdk的性能（分别对裸盘和bdev的io性能进行测试） ./configure --enable-debug --disable-tests --without-isal --withou
SPDK初步安装测试
肥叔菌的博客
11-17 5102
一、SPDK简介及基本使用 随着硬盘、闪存技术的高速发展，NVME-ssd已逐渐进入分布式存储的核心领域。伴随着NVME-ssd的出现，涌现出一批新型的存储名词，包括分层存储、分级存储、冷热存储、混合存储等。而这些名词的出现，也意味着ssd在当前大环境下由于其昂贵的价格还无法大量应用。根据预测，ssd价格将在19年末出现大幅下降，藉此，ssd将成为存储领域重要的存储介质。 ssd存储介质正在取代传统数据中心的机械硬盘。ssd无论是从性能、功耗以及密度上都存在巨大的优势，而这些优势将使得ssd成为下一代存储的
SPDK——每秒8千万次I/O性能实现
lingshengxiyou的博客
09-09 335
结合最新的第三代英特尔® 至强® 可扩展处理器(代号为Ice Lake)和英特尔® Optane™ SSDs，SPDK社区构建了2U英特尔® 至强® 服务器系统，该系统能够承载 8千万的512字节的随机I/O读取操作。SPDK在过去几年实现了超1千万IOPS（使用一个CPU核心）的系统，如今，我们将大幅提升技术水平，向8千万IOPS进发。此外，SPDK NVMe驱动程序呈线性IOPS可扩展性，因为没有对I/O路径添加锁，且将I/O线程固定在CPU核上，数据得以保留在访问过的CPU的核缓存上。
在虚拟机上部署SPDK NVME测试案例
weixin_37097605的博客
08-21 2474
作者简介： 万群Intel 存储软件工程师主要从事SPDK软件测试工作_1背景介绍_正如我们之前在微信中所讨论的在物理机器[1]上使用SoftRo...
详解服务器性能测试基准体系
架构师技术联盟
09-02 2048
20世纪90年代，TPC(Transaction Processing Performance Council，事务处理性能委员会)成立，Benchmark(基准测试)随...
GD&T 培训 | 模拟第一基准，第二基准和第三基准的拟合
weixin_57504295的博客
05-09 7469
GD&T GD&T是Geometric Dimensioning and Tolerancing的缩写,即"形状与位置公差” ◆尺寸标注方法(同我国的技术制图标准) ◆几何公差(同我国的形状和位置公差标准) 美国ASME Y14.5M-2009 ( GD&T) :美国机械工程师协会( American Society of Mechanical Engineers )标准,在美国和全球广泛使用,主要在北美和美国/加拿大在全球的公司使用。南美、澳洲、日本、韩国等亚洲公司也使用该标.
掌握Iperf3：深度解析网络性能测试工具
Iperf3网络性能测试工具详解教程是一篇详细介绍了如何使用Iperf3这款开源网络性能测试工具的文章。Iperf3由美国伊利诺斯大学开发，主要用于评估网络节点间的TCP或UDP连接性能，包括带宽、抖动和丢包率。它的重要性...
SPDK开发手册中文版.docx
06-08
SPDK（存储性能开发套件）官方文档中文版。 第一章 简介 1 1.1.什么是SPDK？ 1 1.2.入门 1 1.3. Vagrant开发环境 3 1.4.更新日志（略） 6 第二章 概念 6 2.1. 用户空间驱动程序** 6 2.2. 来自用户空间的DMA** 7 2.3. 消息传递和并发** 9 2.4. NAND Flash SSD内部 13 2.5. 将I / O提交到NVMe设备** 15 2.5.1 NVMe规范 15 2.5.2 SPDK NVMe驱动程序I / O路径 15 2.6. 使用Vhost-user进行虚拟化I / O. 16 2.6.1 介绍 16 2.6.2 QEMU 17 2.6.3 设备初始化 18 2.6.4 I / O路径 19 2.6.5 SPDK优化 20 2.7. SPDK目录结构概述 20 2.8. SPDK移植指南 22 第三章 用户指南 22 3.1. 系统配置用户指南 22 3.1.1 IOMMU配置 22 3.2. SPDK应用程序概述 23 3.2.1 配置SPDK应用程序 23 3.3. iSCSI Target 26 3.3.1. iSCSI Target入门指南 26 3.3.2. 通过配置文件配置iSCSI Target 27 3.3.3. 通过RPC方法配置iSCSI Target 28 3.3.4. 配置iSCSI启动器 29 3.3.5. rpc配置示例*** 30 3.3.6. iSCSI 热插拔 32 3.4. NVMe over Fabrics Target 32 3.5. Vhost Target（略） 37 3.6 块设备用户指南 38 3.6.1 bdev介绍 38 3.6.2 通用RPC命令 38 3.6.3 Ceph RBD 39 3.6.4 压缩虚拟Bdev模块 40 3.6.5 加密虚拟Bdev模块 41 3.6.6 延迟vbdev模块 41 3.6.7 GPT（GUID分区表） 42 3.6.8 iSCSI bdev 43 3.6.9 Linux AIO bdev 43 3.6.10 OCF虚拟bdev 43 3.6.11 Malloc bdev 44 3.6.12 NULL bdev 44 3.6.13 NVMe bdev 44 3.6.14 逻辑卷Lvol 45 3.6.15 RAID 46 3.6.16 Passthru 46 3.6.17 Pmem 46 3.6.18 Virtio Block 47 3.6.19 Virtio SCSI 47 3.7 BlobFS（Blobstore文件系统） 48 3.7.1 RocksDB集成 48 3.7.2 FUSE插件 49 3.8 JSON-RPC方法（略） 49 第四章 程序员指南 49 4.1. Blobstore程序员指南 49 4.1.1 介绍 50 4.1.2 运作理论 50 4.1.3 设计注意事项 52 4.1.4 例子 54 4.1.5配置 54 4.1.6 组件细节 54 4.2. 块设备层编程指南 56 4.3 编写自定义块设备模块 58 4.3.1 介绍 58 4.3.2 创建一个新模块 59 4.3.3创建虚拟Bdev 60 4.4 NVMe over Fabrics目标编程指南 61 4.4.1 介绍 61 4.4.2 原语结构体 61 4.4.3 基础函数 62 4.4.4访问控制 62 4.4.5发现子系统 62 4.4.6 传输 63 4.4.7选择线程模型 63 4.4.8 跨CPU核心扩展 63 4.4.9 零拷贝支持 63 4.4.10 RDMA 63 4.5 Flash传输层 64 4.5.1 术语 64 4.5.2 使用方法 67 4.6 GDB宏用户指南 69 4.6.1 介绍 69 4.6.2 加载gdb宏 71 4.6.3 使用gdb数据目录 72 4.6.4 使用.gdbinit加载宏 72 4.6.5 为什么我们需要显式调用spdk_load_macros 72 4.6.6 以上可用的宏总结 73 4.6.7 添加新宏 73 4.7 SPDK “Reduce”块压缩算法 73 4.7.1 介绍 73 4.7.2 例子 74 4.8 通知库 78 第五章 基本信息 79 5.1 事件框架 79 5.1.1 事件框架设计注意事项 80 5.1.2 SPDK事件框架组件 80 5.1.3 应用框架 80 5.2 逻辑卷 81 5.2.1 术语 81 5.2.2 配置逻辑卷 84 5.3 矢量数据包处理（略） 86 第六章 杂项 86 6.1 介绍 86 6.2 NVMe的P2P API 86 6.3 确定设备支持 87 6.4 P2P问题 87 第七章 驱动程序 88 7.1 NVMe驱动程序*** 88 7.1.1 介绍 88 7.1.2 例子 88 7.1.3 公共接口 89 7.1.4 NVMe驱动程序设计 89 7.1.5 NVMe over Fabrics主机支持 91 7.1.6 NVMe多进程 91 7.1.7 NVMe Hotplug 92 7.2 I/OAT驱动程序 93 7.2.1 公共接口 93 7.2.2 关键功能 93 7.3 Virtio驱动程序 93 7.3.1 介绍 93 7.3.2 2MB大页面 93 第八章 工具 94 8.1 SPDK CLI 94 8.1.1 安装所需的依赖项 94 8.1.2 运行SPDK应用程序实例 94 8.1.3 运行SPDK CLI 94 8.1.4 可选 - 创建Python虚拟环境 94 8.2 nvme-CLI 95 8.2.1 nvme-cli with SPDK入门指南 95 8.2.2 使用场景 95 第九章 性能测试报告（略） 96 第十章NVMe-oF Target跟踪点*** 96 10.1 介绍 96 10.2 启用跟踪点 97 10.3 捕获事件的快照 97 10.4 捕获足够的跟踪事件 98 10.5 添加新的跟踪点 99
2021美国峰会系列一 | SPDK项目状态
weixin_37097605的博客
08-04 133
2021 SPDK 美国线上峰会今天我们给大家带来的是2021年SPDK美国线上峰会的第一篇技术分享。在峰会上，英特尔首席软件工程师Jim Harris分享了SPDK项目的状态进展，主要内...
测试spdk下的nvme和rocksdb
饿狗博客
07-08 951
以下均是参考链接 使用db_bench 对rocksdb进行性能压测 SPDK中常用的性能测试工具 火焰图辅助我们去分析性能，生成火焰图的步骤如下： sudo /usr/src/linux-source-4.15.0/tools/perf/perf record -F 99 -p 1165 --call-graph dwarf sudo /usr/src/linux-source-4.15.0/tools/perf/perf report -n -f --stdio sudo /usr/src/linux-
2018 SPDK中国技术峰会系列：SPDK开源社区开发及测试流程
weixin_37097605的博客
07-04 244
StoragePerformanceDevelopment Kit (https://spdk.io)，是Intel推出的开源软件，旨在帮助客户优化存储系统...
SPDK
weixin_30639719的博客
09-05 273
http://aidaiz.com/spdk/ https://spdk.io/cn/ https://spdk.io 转载于:https://www.cnblogs.com/wordchao/p/11468737.html
SPDK中常用的性能测试工具
Dayu_log的博客
03-09 179
spdk
SPDK RBD bdev性能调优
weixin_37097605的博客
09-28 1342
前言 在前文[1]中，我们简述了SPDK中RBD bdev模块以及所依赖的librbd接口的调用方法。本文就SPDK RBD bdev结合Ceph RBD的使用进行更为深入的探讨，并结合实际的应用场景，总结性能调优的方法。SPDK RBD bdev & Ceph RBD线程模型SPDK RBD bdev结合Ceph RBD，可以将image定义为SPDK的块设备类型。通过SPDK框架对...
深入理解SPDK之八：性能优化
cbiqlux89468585的博客
08-27 775
根笔者最近在SPDK优化上的工作，下面总结了一些可以提升性能的优化点。 永远保持高队列深度 对于NVME SSD和RDMA这种基于completion queue/submittion queue 硬件机制的设备，就应该根据硬件队列执行的特性，始终保持队列中有物理队列深度这么多的请求在跑，这样才可能榨干硬件性能。 数据结构 在IO路径上如果你需要缓存一段请求，并且只只需要操作它的头和尾。如果是基于...
C语言实现SHA-1算法及其性能基准测试
- SHA（Secure Hash Algorithm）即安全散列算法，是美国国家安全局设计，并由美国国家标准与技术研究院发布的一系列密码散列函数。 - SHA算法家族包括SHA-0、SHA-1、SHA-2和SHA-3。其中，SHA-1是最早发布的版本，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值