一篇文章让你入门，SPDK自动精简配置的逻辑卷使用

最新推荐文章于 2024-10-16 10:21:57 发布
最新推荐文章于 2024-10-16 10:21:57 发布
阅读量1k 收藏 3
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37097605/article/details/101514419
版权
本文介绍了SPDK的逻辑卷管理，包括基本概念如逻辑卷、精简配置和密集配置，以及SPDK如何实现逻辑卷的精简配置功能。通过RPC命令展示了如何创建和管理SPDK的LVol，并提供了性能测试的使用场景。
摘要由CSDN通过智能技术生成

作者：万群

Intel 存储软件工程师

主要从事SPDK软件测试工作

01

基本概念

逻辑卷介绍

640?wx_fmt=png

图1 Linux逻辑卷管理器 （LVM, Linux Logical Volume Manager）

大多数卷管理器都有着相同的基本设计。它们由物理卷（PV, Physical Volume）入手，这可以是硬盘，硬盘分区，或者是外部存储设备的逻辑单元号（LUN, Logical Unit Number）。卷管理将每一个PV都视作是由一系列称为物理区段（PE, Physical Extent）的块组成的[1]。

通常， 物理卷只是简单地一对一映射到逻辑区域中（LE, Logical Extent）中。通过镜像，多个PE映射到单个LE。PE从物理卷组（PVG, Physical Volume Group）中抽取，这是一组相同大小的PV，其作用类似于RAID1阵列中的硬盘。

系统将LE集中到一个卷组中（VG, Volume Group）。合并后的LE可以被连接到称为逻辑卷（或者简称为LV）的虚拟磁盘分区中。系统可以使用LV作为原始块设备，就像磁盘分区一样：在其上创建可安装的文件系统，或者使用它们作为交换存储。

密集配置与精简配置

密集配置是一种存储分配方式，在磁盘创建时，磁盘上的存储容量在物理存储上预先分配。    

精简配置使用虚拟化技术来使得物理资源比实际可用的看起来更多[2]，如果一个系统总是有足够的资源来同时支持所有的虚拟化资源，那么它就不是精简配置。例如，计算机中的实际内存通常使用某种形式的虚拟化地址转换技术对运行任务进行精简配置。每个任务看上去就像被分配了实际内存一样。分配给任务的虚拟内存的总和通常超过实际内存的总和。

 精简配置与密集配置的效率并非取决于技术差异，而是取决于不同的用例情况。当所使用的资源数量与所分配的资源数量非常接近时，密集配置通常会效率更高；当使用的资源量远小于所分配的资源量时，精简配置更为高效，所以，只提供所需资源带来的益处超过了使用虚拟化技术增加的成本。

图2展示了传统密集配置与精简配置的区别。

640?wx_fmt=png

图2 传统分配与精简配置

SPDK实现的逻辑卷概述

最低0.47元/天 解锁文章
weixin_37097605
关注
2024年Unity 面试题 |五萬字 二佰道| Unity面试题大全，面试题总结【全网最全，收藏一篇足够面试】
努力前行，总会成为自己心中的那道光
02-23 12万+
正所谓 金三银四 ，又到了找工作的大好时机了，不知道大家有没有意向找一份更好的工作呢~ 之前写了很多Unity的学习和实例文章，但是面试题部分还没有一个系统的整理。 那本篇文章就来整理一下Unity中一些常见的面试题，说不准就会面试的时候就会遇到！ 本篇文章会将Unity所有方面的面试资料都融会贯通，绝对是2022年Unity面试领域最实用的文章啦！
Yocto系列讲解[入门篇] 1 - 快速入门熟悉Yocto的构建
热门推荐
fulinux的博客
10-03 4万+
yocto quick start up带大家快速上手
浅谈SPDK（二.1）虚拟机搭建SPDK环境--简话版
饿狗博客
06-23 1365
前言 装了差不多3、4天的spdk环境，有些操作是反反复复，这里集中贴一下，方便搭建回头搭建的时候，复制粘贴 虚拟机环境 参考上一话浅谈SPDK（二）虚拟机搭建SPDK环境 注： 这次安装我参考的是Vagrant Development Environment https://vagrantcloud.com/bento/boxes/ubuntu-18.04/versions/201803.24.0/providers/virtualbox.box 然后通过上一篇的box添加方式往下配置虚拟机环境就行
初识SPDK
weixin_37097605的博客
03-02 1552
* 内容速览 *本文在存储的大背景下，对SPDK加速NVMe SSD后端存储应用的原理进行了简单分析，并对其主要应用场景进行了总结。同时，本文给出了SPDK相关的性能测试、项目开发、论坛交...
基于SPDK的NVMe SSD性能评估指南-更新
最新发布
哦哦 会议中
10-16 598
例如刚刚所提到的线程模型，perf中是使用DPDK所提供的线程模型，通过使用CPU的亲和性将CPU核与线程捆绑，不再受内核调度，因此可以充分发挥SPDK下发I/O时的异步无锁化优势。通常在fio中，指定的iodepth表示所有的job一共的iodepth，而在perf指定的iodepth(perf中-q参数)通常指的是每个job所使用的iodepth。其中，-c是指定bdevperf的配置文件，需要测试的bdev设备都在配置文件中指定，例如，若需要测试本地的两块NVMe设备，则bdevperf的配置文。
自动精简配置
weixin_33694172的博客
03-26 155
专家博客：自动精简配置的利与弊 存储在线 11年03月21日译者：Bill 导读：在某一天，你会发现你的系统管理员搜索桌子上、数据中心和秘密硬件堆里面的每个角落以找到更多的存储，就像吸毒者寻找注射器一样。 关键词： LUN 数据中心 自动精简配置 SAN 本文作者Kenneth Hess是Linux，数据库及虚拟化方...
自动精简配置（Thin provisioning ）介绍
helloanthea的专栏
06-17 2万+
自动精简配置（Thin provisioning ）介绍自动精简配置，有时也被称为”超额申请“，是一中重要的新兴存储技术。本文定义了自动精简配置，并介绍它的工作原理、使用局限和一些使用建议。如果应用程序所使用的存储空间已满，就会崩溃。因此，存储管理员通常分配比应用程序实际需要的存储空间更大的存储容量，以避免任何潜在的应用程序故障。这种做法为未来的增长提供了“headroom”（净空），并减少了应用程
【小韬讲存储】——自动精简配置
m0_69056972的博客
05-15 448
FASS可以使用自动精简配置卷，即可以创建容量大于存储池实际物理容量的逻辑卷（精简卷，以解决多业务场景下，容量难易准确规划一次性超量采购的问题。
一篇博客让你了解RxJava
一个码农的博客
12-18 2万+
RxJava可以说是2016年最流行的项目之一了，最近也接触了一下RxJava，于是想写一篇博客，希望能通过这篇博客让大家能对其进行了解，本篇博客是基于RxJava2.0，跟RxJava1.0还是有很多不同的基础知识RxJava的核心就是“异步”两个字，其最关键的东西就是两个： Observable（被观察者） Observer/Subscriber（观察者） Observable可以发出一系列的
Java 环境配置 -- Java 语言的安装、配置、编译与运行
栗筝i的博客
06-09 3593
在这篇文章中，首先，我们将会先聊一聊 Java 的体系、环境、和版本，因为如果是刚入门的小伙伴，没有去特意了解的话，确实会存在相关的困惑（现在网上大多数文章对相关内容的介绍已经过时了）；然后，我们会进行真正的开始，即 Java 语言的安装、配置、编译与运行；在最后，我们再了解一下，当下最为流行的 Java 开发 IDE 工具 – IntelliJ IDEA!
SPDK开发手册中文版.docx
06-08
SPDK（存储性能开发套件）官方文档中文版。 第一章 简介 1 1.1.什么是SPDK？ 1 1.2.入门 1 1.3. Vagrant开发环境 3 1.4.更新日志（略） 6 第二章 概念 6 2.1. 用户空间驱动程序** 6 2.2. 来自用户空间的DMA** 7 2.3. 消息传递和并发** 9 2.4. NAND Flash SSD内部 13 2.5. 将I / O提交到NVMe设备** 15 2.5.1 NVMe规范 15 2.5.2 SPDK NVMe驱动程序I / O路径 15 2.6. 使用Vhost-user进行虚拟化I / O. 16 2.6.1 介绍 16 2.6.2 QEMU 17 2.6.3 设备初始化 18 2.6.4 I / O路径 19 2.6.5 SPDK优化 20 2.7. SPDK目录结构概述 20 2.8. SPDK移植指南 22 第三章 用户指南 22 3.1. 系统配置用户指南 22 3.1.1 IOMMU配置 22 3.2. SPDK应用程序概述 23 3.2.1 配置SPDK应用程序 23 3.3. iSCSI Target 26 3.3.1. iSCSI Target入门指南 26 3.3.2. 通过配置文件配置iSCSI Target 27 3.3.3. 通过RPC方法配置iSCSI Target 28 3.3.4. 配置iSCSI启动器 29 3.3.5. rpc配置示例*** 30 3.3.6. iSCSI 热插拔 32 3.4. NVMe over Fabrics Target 32 3.5. Vhost Target（略） 37 3.6 块设备用户指南 38 3.6.1 bdev介绍 38 3.6.2 通用RPC命令 38 3.6.3 Ceph RBD 39 3.6.4 压缩虚拟Bdev模块 40 3.6.5 加密虚拟Bdev模块 41 3.6.6 延迟vbdev模块 41 3.6.7 GPT（GUID分区表） 42 3.6.8 iSCSI bdev 43 3.6.9 Linux AIO bdev 43 3.6.10 OCF虚拟bdev 43 3.6.11 Malloc bdev 44 3.6.12 NULL bdev 44 3.6.13 NVMe bdev 44 3.6.14 逻辑卷Lvol 45 3.6.15 RAID 46 3.6.16 Passthru 46 3.6.17 Pmem 46 3.6.18 Virtio Block 47 3.6.19 Virtio SCSI 47 3.7 BlobFS（Blobstore文件系统） 48 3.7.1 RocksDB集成 48 3.7.2 FUSE插件 49 3.8 JSON-RPC方法（略） 49 第四章 程序员指南 49 4.1. Blobstore程序员指南 49 4.1.1 介绍 50 4.1.2 运作理论 50 4.1.3 设计注意事项 52 4.1.4 例子 54 4.1.5配置 54 4.1.6 组件细节 54 4.2. 块设备层编程指南 56 4.3 编写自定义块设备模块 58 4.3.1 介绍 58 4.3.2 创建一个新模块 59 4.3.3创建虚拟Bdev 60 4.4 NVMe over Fabrics目标编程指南 61 4.4.1 介绍 61 4.4.2 原语结构体 61 4.4.3 基础函数 62 4.4.4访问控制 62 4.4.5发现子系统 62 4.4.6 传输 63 4.4.7选择线程模型 63 4.4.8 跨CPU核心扩展 63 4.4.9 零拷贝支持 63 4.4.10 RDMA 63 4.5 Flash传输层 64 4.5.1 术语 64 4.5.2 使用方法 67 4.6 GDB宏用户指南 69 4.6.1 介绍 69 4.6.2 加载gdb宏 71 4.6.3 使用gdb数据目录 72 4.6.4 使用.gdbinit加载宏 72 4.6.5 为什么我们需要显式调用spdk_load_macros 72 4.6.6 以上可用的宏总结 73 4.6.7 添加新宏 73 4.7 SPDK “Reduce”块压缩算法 73 4.7.1 介绍 73 4.7.2 例子 74 4.8 通知库 78 第五章 基本信息 79 5.1 事件框架 79 5.1.1 事件框架设计注意事项 80 5.1.2 SPDK事件框架组件 80 5.1.3 应用框架 80 5.2 逻辑卷 81 5.2.1 术语 81 5.2.2 配置逻辑卷 84 5.3 矢量数据包处理（略） 86 第六章 杂项 86 6.1 介绍 86 6.2 NVMe的P2P API 86 6.3 确定设备支持 87 6.4 P2P问题 87 第七章 驱动程序 88 7.1 NVMe驱动程序*** 88 7.1.1 介绍 88 7.1.2 例子 88 7.1.3 公共接口 89 7.1.4 NVMe驱动程序设计 89 7.1.5 NVMe over Fabrics主机支持 91 7.1.6 NVMe多进程 91 7.1.7 NVMe Hotplug 92 7.2 I/OAT驱动程序 93 7.2.1 公共接口 93 7.2.2 关键功能 93 7.3 Virtio驱动程序 93 7.3.1 介绍 93 7.3.2 2MB大页面 93 第八章 工具 94 8.1 SPDK CLI 94 8.1.1 安装所需的依赖项 94 8.1.2 运行SPDK应用程序实例 94 8.1.3 运行SPDK CLI 94 8.1.4 可选 - 创建Python虚拟环境 94 8.2 nvme-CLI 95 8.2.1 nvme-cli with SPDK入门指南 95 8.2.2 使用场景 95 第九章 性能测试报告（略） 96 第十章NVMe-oF Target跟踪点*** 96 10.1 介绍 96 10.2 启用跟踪点 97 10.3 捕获事件的快照 97 10.4 捕获足够的跟踪事件 98 10.5 添加新的跟踪点 99
LVM Thin Provisioning.pdf
09-16
Thin volumes • Over-allocate current storage available • Needs to be specified at creation time • Steps: • Create thin pool logical volume (LV) • Create thin LVs with -V instead of -L • Scenarios: • Don't know how much I'll need or where • Thin snapshots!
【SPDK】一、概述
lingshengxiyou的博客
12-29 410
SPDK(全称Storage Performance Development Kit)，提供了一整套工具和库，以实现高性能、扩展性强、全用户态的存储应用程序。它是继DPDK之后，intel在存储领域推出的又一项颠覆性技术，旨在大幅缩减存储IO栈的软件开销，从而提升存储性能，可以说它就是为了存储性能而生。为便于大家理解，我们先介绍一下SPDK在虚拟化场景下的使用方法，以给大家一些直观的认识。1. DPDK的编译与安装。
spdk技术原理简介和实践经验
大隐隐于野
01-31 1662
1、SPDK的整体架构存储协议层：SPDK支持的存储应用类型。NVMe-oF target实现了NVMe-oF规范，对外提供基于NVMe协议的存储服务端，支持RDMA和TCP网络；iSCSI Target对外提供基于SCSI协议的存储服务端；vhost-scsi或vhost-blk对qemu提供后端存储服务，qemu可以基于SPDK提供的后端存储为虚拟机挂载virtio-scsi或virtio-blk磁盘。存储服务层。
关于—Thin Provisioning<aka精简配置技术>
weixin_34247032的博客
11-21 387
一个方案设计提前完成，周四，周五就轻松一些，那就写点东西吧。关于存储精简配置技术，算是一个古老的技术，不过仍然看到有论坛很多朋友没有一个完整的理解，包括：目前技术程度，发展过程，用到哪些方面环境，应该注意什么，产生的效益等等，因此我想阐述下自己一些卑微的见识；毕竟Thin Provisioning给我带来很多利益，同时也是我比较敬重技术之一。<之所以称他为古老的...
thin-provisioning-tools: 简化存储管理的开源工具
gitblog_00063的博客
03-16 791
thin-provisioning-tools: 简化存储管理的开源工具 项目地址:https://gitcode.com/gh_mirrors/th/thin-provisioning-tools thin-provisioning-tools 是一个轻量级的开源项目，旨在帮助系统管理员和开发人员更轻松地管理和优化存储资源。它提供了一系列实用程序，可以帮助您快速创建、扩展和检查thin prov...
存储容量虚拟化“Thin Provisioning（自动精简配置）技术”
Martin Liu's Blog--Focus on Oracle
09-13 5692
自动精简配置是一项利用虚拟化方法减少物理存储部署的技术，可最大限度提升存储空间利用率。 存储系统逐年扩展。为确保存储容量足够使用，用户往往会部署多于实际需求的物理存储空间——“安全起见”。但在实际使用过程中，部署容量通常未受到充分利用。行业研究组织发现在某些项目中，实际使用容量仅占部署容量的20%—30%。因此，“自动精简配置”技术应运而生，旨在实现更高的存储容量利用率，并带来更大的投资回报
虚拟化VMware简介4——thin provisioning 简介
changyanmanman的专栏
02-15 4257
11
HMI基本面板一代精简版KTP BSAIC DP使用手册
资源摘要信息: "HMI_basic_panels_一代精简面板KTP BSAIC DP 使用手册" 是一份专门针对“一代精简面板KTP BSAIC DP”型号的HMI（人机界面）操作手册。HMI是工业自动化领域常用的一种设备，用于实现人与机器的交互...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值