SPDK Vhost在线恢复：让I/O飞一会儿

最新推荐文章于 2024-02-19 08:00:00 发布
最新推荐文章于 2024-02-19 08:00:00 发布
阅读量1.5k 收藏 6
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37097605/article/details/104528916
版权
“常通风、勤洗手、戴口罩、少出门。”“武汉加油、中国加油！”喻津， 资深工程师， 主要从事SPDK的软件开发工作。背景在All in Cloud的趋势下，各大CSPs(Cloud Ser...
摘要由CSDN通过智能技术生成

“常通风、勤洗手、戴口罩、少出门。”

“武汉加油、中国加油！”

喻津， 资深工程师， 主要从事SPDK的软件开发工作。

背景

在All in Cloud的趋势下，各大CSPs(Cloud Service Providers)在宣传自家的服务时都会向客户声称提供高可靠，高稳定的服务例如5个9的可用性(99.999%)。但是，仅仅以后端存储举例，技术和产品的升级等等都不可避免的需要他们进行在线升级，并且这个行为要在短时间内完成，这样才能满足5个9的标准。

Virtio是目前被广泛接受的I/O虚拟化的抽象设备接口，通过对virtqueue的定义实现了对不同虚拟化PCI设备的支持，广泛的运用在VM(Virtual Machine)中用来加速包括存储和网络等设备。Vhost是一种用来加速Guest到后端传输的软件解决方案，它基于virtio实现。然而查看已有的解决办法，并没有发现一种很好的支持在线升级的方法。

基于此，本文将介绍SPDK Vhost提供的一种方法，可以灵活，快速的实现在线升级。

Virto和Vhost的简单介绍

Virtio由OASIS[1](Advancing Open Standard For Information Society)定义，它是半虚拟化协议规范，规定Guest OS和Hypervisor通过定义的队列结构进行数据面通信，本文中的Hypervisor我们都使用QEMU来进行说明，这个队列在Virtio S

最低0.47元/天 解锁文章
weixin_37097605
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SPDK Vhost对Live Migration的支持
weixin_37097605的博客
09-28 574
输作者简介刘长鹏，Intel 软件工程师，主要从事SPDK开发维护工作，现在担任SPDK Core Maintainer。SPDK Vhost Target主要用来加速G...
spdk通过vhost-user与qemu通信的代码---spdk初始化服务端
最新发布
qq_35950085的博客
06-16 765
1.域套接字的路径：将缓存中的路径g_vhost_user_dev_dirname拼接到域套接字的路径下，g_vhost_user_dev_dirname路径的拼装是在spdk进程初始化时通过"-S /path/xxx"传入，然后在解析参数时通过vhost_parse_arg--->spdk_vhost_set_socket_path将该路径缓存。对以上逻辑进行详细分析，创建scsi控制器的rpc命令的入口为rpc_vhost_create_scsi_controller。待续-----------未完。
2018 SPDK中国技术峰会系列：SPDK Vhost在虚拟化场景的应用
weixin_37097605的博客
08-22 247
2018 SPDK PRC SUMMIT2018 SPDK中国技术峰会在前几期的分享中，我们分别回顾了：在今天的视频回顾中，Intel 高级软件工程师刘长鹏分享了《SPD...
浅析SPDK技术：vhost
Aspiresky的专栏
02-19 1143
SPDK vhost 作为虚拟机存储的后端，以进程的形式在宿主机上运行，通过轮询的方式从共享的 Ring Buffer 中得到虚拟机中的 IO 请求，并进行处理，最后将处理完的数据同样通过 Ring Buffer 的方式通知虚拟机。整个过程不需要锁的保护，没有中断引入的开销，效率极高。添加SPDK bdev设备到创建的vhost-scsi控制器中。接下来，启动SPDK自带的vhost应用程序。首先，创建vhost-scsi控制器。创建SPDK bdev设备。
SPDK vhost-user结合SPDK NVMe-oF RDMA性能调优
lingshengxiyou的博客
09-03 679
这里我们主要介绍如何测试vhost-user使用本地bdev以及结合使用NVMe-oF RDMA使用远端bdev测试性能，并且对他们的性能进行比较。
【SPDK】六、vhost子系统
oshhh的博客
02-06 468
vhost子系统初始化时，会依次偿试对vhost-scsi、vhost-blk和vhost-nvme进行初始化，如果配置文件中配置了对应类型的设备，那就会完成对应设备的创建并初始化监听socket等待qemu客户端进行连接。vhost子系统在SPDK中属于应用层或叫协议层，为虚拟机提供vhost-blk、vhost-scsi和vhost-nvme三种虚拟设备。/* 完成vhost设备通用部分功能的初始化，并将该vhost设备的backend操作集合设为vhost_blk_device_backend；
DPDK技术峰会：Accelerate VM IO via SPDK and Crypto for Generic vHost.pdf
12-04
DPDK技术峰会，PPT讲稿分享 ，Accelerate VM I/O via SPDK and Crypto for Generic vHost – Changpeng Liu, Xin Zeng @ Intel 该文档讨论了利用DPDK常规vHost user库去创建存储（vHost-SCSI）和crypto（vhost-...
SPDK vhost FUSE Target加速虚拟机与容器访问.pptx
10-11
SPDK vhost FUSE Target加速虚拟机与容器访问.pptx
lamp-vhost-manager:LAMP 虚拟主机管理器 Bash 脚本
06-12
./lamp-vhost-manager.sh OPTIONS 选项： -h Show this message -m Mode (required, "add" or "remove") -n Project name (required, used as directory name and as domain name if -t is omitted) -t TLD ...
xampp-vhost-creator:批处理脚本以创建XAMPP虚拟主机
05-18
＃批处理脚本：XAMPP虚拟主机创建者 这是一个小脚本，可帮助在Windows的xamp中配置虚拟主机。 ##初始配置 ### Config.ini所有配置将保存在Config.ini文件中与脚本相同的文件夹中。 如果此文件不存在，脚本将尝试...
vhost-creator：一个简单的bash脚本，可在Ubuntu或CentOS上使用apache创建虚拟主机vhost
02-06
vhost-creator就是这样一个脚本，它通过接收用户输入和系统参数来自动化Apache vhost的创建。 2. **Ubuntu与CentOS**： Ubuntu和CentOS都是流行的Linux发行版，常用于服务器环境。Ubuntu基于Debian，拥有活跃的...
SPDK开发手册中文版.docx
06-08
SPDK（存储性能开发套件）官方文档中文版。 第一章 简介 1 1.1.什么是SPDK？ 1 1.2.入门 1 1.3. Vagrant开发环境 3 1.4.更新日志（略） 6 第二章 概念 6 2.1. 用户空间驱动程序** 6 2.2. 来自用户空间的DMA** 7 2.3. 消息传递和并发** 9 2.4. NAND Flash SSD内部 13 2.5. 将I / O提交到NVMe设备** 15 2.5.1 NVMe规范 15 2.5.2 SPDK NVMe驱动程序I / O路径 15 2.6. 使用Vhost-user进行虚拟化I / O. 16 2.6.1 介绍 16 2.6.2 QEMU 17 2.6.3 设备初始化 18 2.6.4 I / O路径 19 2.6.5 SPDK优化 20 2.7. SPDK目录结构概述 20 2.8. SPDK移植指南 22 第三章 用户指南 22 3.1. 系统配置用户指南 22 3.1.1 IOMMU配置 22 3.2. SPDK应用程序概述 23 3.2.1 配置SPDK应用程序 23 3.3. iSCSI Target 26 3.3.1. iSCSI Target入门指南 26 3.3.2. 通过配置文件配置iSCSI Target 27 3.3.3. 通过RPC方法配置iSCSI Target 28 3.3.4. 配置iSCSI启动器 29 3.3.5. rpc配置示例*** 30 3.3.6. iSCSI 热插拔 32 3.4. NVMe over Fabrics Target 32 3.5. Vhost Target（略） 37 3.6 块设备用户指南 38 3.6.1 bdev介绍 38 3.6.2 通用RPC命令 38 3.6.3 Ceph RBD 39 3.6.4 压缩虚拟Bdev模块 40 3.6.5 加密虚拟Bdev模块 41 3.6.6 延迟vbdev模块 41 3.6.7 GPT（GUID分区表） 42 3.6.8 iSCSI bdev 43 3.6.9 Linux AIO bdev 43 3.6.10 OCF虚拟bdev 43 3.6.11 Malloc bdev 44 3.6.12 NULL bdev 44 3.6.13 NVMe bdev 44 3.6.14 逻辑卷Lvol 45 3.6.15 RAID 46 3.6.16 Passthru 46 3.6.17 Pmem 46 3.6.18 Virtio Block 47 3.6.19 Virtio SCSI 47 3.7 BlobFS（Blobstore文件系统） 48 3.7.1 RocksDB集成 48 3.7.2 FUSE插件 49 3.8 JSON-RPC方法（略） 49 第四章 程序员指南 49 4.1. Blobstore程序员指南 49 4.1.1 介绍 50 4.1.2 运作理论 50 4.1.3 设计注意事项 52 4.1.4 例子 54 4.1.5配置 54 4.1.6 组件细节 54 4.2. 块设备层编程指南 56 4.3 编写自定义块设备模块 58 4.3.1 介绍 58 4.3.2 创建一个新模块 59 4.3.3创建虚拟Bdev 60 4.4 NVMe over Fabrics目标编程指南 61 4.4.1 介绍 61 4.4.2 原语结构体 61 4.4.3 基础函数 62 4.4.4访问控制 62 4.4.5发现子系统 62 4.4.6 传输 63 4.4.7选择线程模型 63 4.4.8 跨CPU核心扩展 63 4.4.9 零拷贝支持 63 4.4.10 RDMA 63 4.5 Flash传输层 64 4.5.1 术语 64 4.5.2 使用方法 67 4.6 GDB宏用户指南 69 4.6.1 介绍 69 4.6.2 加载gdb宏 71 4.6.3 使用gdb数据目录 72 4.6.4 使用.gdbinit加载宏 72 4.6.5 为什么我们需要显式调用spdk_load_macros 72 4.6.6 以上可用的宏总结 73 4.6.7 添加新宏 73 4.7 SPDK “Reduce”块压缩算法 73 4.7.1 介绍 73 4.7.2 例子 74 4.8 通知库 78 第五章 基本信息 79 5.1 事件框架 79 5.1.1 事件框架设计注意事项 80 5.1.2 SPDK事件框架组件 80 5.1.3 应用框架 80 5.2 逻辑卷 81 5.2.1 术语 81 5.2.2 配置逻辑卷 84 5.3 矢量数据包处理（略） 86 第六章 杂项 86 6.1 介绍 86 6.2 NVMe的P2P API 86 6.3 确定设备支持 87 6.4 P2P问题 87 第七章 驱动程序 88 7.1 NVMe驱动程序*** 88 7.1.1 介绍 88 7.1.2 例子 88 7.1.3 公共接口 89 7.1.4 NVMe驱动程序设计 89 7.1.5 NVMe over Fabrics主机支持 91 7.1.6 NVMe多进程 91 7.1.7 NVMe Hotplug 92 7.2 I/OAT驱动程序 93 7.2.1 公共接口 93 7.2.2 关键功能 93 7.3 Virtio驱动程序 93 7.3.1 介绍 93 7.3.2 2MB大页面 93 第八章 工具 94 8.1 SPDK CLI 94 8.1.1 安装所需的依赖项 94 8.1.2 运行SPDK应用程序实例 94 8.1.3 运行SPDK CLI 94 8.1.4 可选 - 创建Python虚拟环境 94 8.2 nvme-CLI 95 8.2.1 nvme-cli with SPDK入门指南 95 8.2.2 使用场景 95 第九章 性能测试报告（略） 96 第十章NVMe-oF Target跟踪点*** 96 10.1 介绍 96 10.2 启用跟踪点 97 10.3 捕获事件的快照 97 10.4 捕获足够的跟踪事件 98 10.5 添加新的跟踪点 99
SPDK vhost-user结合SPDK NVMe-oF RDMA性能调优参考
weixin_37097605的博客
08-31 1088
一背景介绍之前的文章我们有介绍过NVMe-oF RDMA以及vhost-user，在不同的场景下如何测试性能(详细性能报告参考: https://spdk.io/doc/performance_reports.html)，这里我们主要介绍如何测试vhost-user使用本地bdev以及结合使用NVMe-oF RDMA使用远端bdev测试性能，并且对他们的性能进行比较。二SPDK中vhost-use...
SPDK Vhost-user 如何帮助超融合架构实现 I/O 存储性能提升
SmartX 超融合
03-08 966
作者：深耕行业的 SmartX 金融团队 本文主要介绍使用 SPDK vhost-user 技术，来加速 KVM 虚拟机中 virtio-blk/virtio-scsi 存储设备的 I/O 性能，并结合架构场景展开说明，让读者对这项技术带来的特性提升有更直观的了解。 首先我们先看看当前主流的 I/O 设备虚拟化方案： QEMU 纯软件模拟，利用软件模拟 I/O 设备提供给虚拟机使用。 Virtio 半虚拟方案，规范了前后端模型，在虚拟机（Guest OS）中使用 frontend 驱
基于SPDK-vhost的云原生KubeVirt虚拟化IO的优化方案(二)
weixin_37097605的博客
01-17 1101
摘要在上一篇文章《基于SPDK-vhost的云原生KubeVirt虚拟化IO的优化方案》中我们分享了在云原生KubeVirt场景中引入SPDK-vhost从而加速虚机中IO存储性能的方案，本文将在此方案基础上介绍对云原生虚机的热迁移（Live Migration）、热恢复（Live Recovery）特性的支持，并分享我们基于Intel开源的Workload Service Framework[1...
spdk探秘-----vhost 、ISCSI、 NVMe-oF Target
cyq6239075的博客
06-30 5351
vhost target 这里我们主要介绍用SPDK vhost target来加速虚拟机中的I/O，在介绍这个加速方案之前，我们先看看主流的I/O设备虚拟化的方案。 ·　纯软件模拟：完全利用软件模拟出一些设备给虚拟机使用，主要的工作可以在Simics、Bochs、纯QEMU解决方案中看到。 ·　半虚拟（Para-Virtualization）：主要是一种frontend-backend的模型，在虚拟机中的Guest OS中使用frontend的驱动，Hypervisor中暴露出backend接口。这
SPDK Vhost 基于最新21.10发布版本的性能报告
weixin_37097605的博客
12-22 423
本次给大家带来的是，基于SPDK 21.10版本（点击加粗字体阅读21.10）的最新的SPDK Vhost性能报告。对这块感兴趣的，可以参考“阅读原文”获得详细的测试配置和相关性能数据。S...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值