[元带你学NVMe协议] ZNS 架构实现 : 解决传统SSD问题的高性能存储栈设计

已于 2023-08-06 19:19:34 修改
阅读量1.1k 收藏 3
点赞数 1
分类专栏： 深入理解SSD:固态存储原理与实践 文章标签： java linux 运维
于 2023-04-16 19:34:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vagrant0407/article/details/130186777
版权

声明

主页：元存储的博客_CSDN博客

依公开知识及经验整理，如有误请留言。

个人辛苦整理，付费内容，禁止转载。

全文 6900 字。

2.2 ZNS 的架构实现

先看看 支持zone 存储的 SMR HDD 以及 支持 zonefs 的 nvme ssd 的整个存储栈形态

在这里插入图片描述

其中对于ceph 这样的应用来说 bluestore或者Seastore 这样的后端引擎是直接管理裸设备的，所以不需要文件系统支持。当然如果需要，也可以通过一个内核支持的小型文件系统zonefs 来进行数据访问。

但是这个小型文件系统过去简单，它将每一个zone空间暴露为一个文件，使用LBA0 来存储superblock，并没有复杂的inode/dentry 这种元数据的管理机制，在这个文件系统上创建/删除/重命名都是不允许的。针对数据的写还是类似zone storage的要求，即通过一个WP来进行写，如果这个zone 空间对应的文件被写满了&#x

了解本专栏 订阅专栏 解锁全文
元存储
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
rockdb_for_zns
02-18
关于这个分支 此开发分支将ZenFS（用于分区块设备的存储后端）添加到RocksDB。 在合并代码之前，该分支将反映实现的最新状态。 期望定期重新定基。 ZenFS概述 ZenFS是一个简单的文件系统，利用RockDB的FileSystem接口将文件放入原始分区块设备上的区域中。 通过将文件划分为多个区域并利用写入寿命提示来共存类似寿命的数据，与传统的块设备相比，系统写入放大倍数大大降低了，同时将ZenFS容量开销保持在非常合理的水平。 ZenFS旨在与主机管理的分区旋转磁盘以及具有分区命名空间的NVME SSD配合使用。 ZenFS中的某些思想和概念基于Abutalib Aghayev和Marc Acosta所做的早期工作。 依存关系 ZenFS依靠和Linux内核5.4或更高版本来执行区域管理操作。 架构概述 ZenFS实现了FileSystem API，并将所有数据文件存储到原
字节跳动ZNS SSD应用案例解析
大隐隐于野
12-08 1464
写回（Write-back）：如果主机发出一个写入请求，而目标地址已经存在于CMB中，那么控制器可以选择先更新CMB中的数据，稍后再将修改后的数据写入闪存。通过使用CMB，SSD可以预先将一部分数据缓存在高速的DRAM中，然后根据需要快速地从CMB中提供数据给主机系统，或者临时存储等待写入闪存的数据。在ZNS的场景下，不同应用按照Zone配置信息，相应存放业务数据。如果在文件系统层删除一个文件，比如下图文件C，在没有GC搬迁的情况下，会在无效数据C会占用大量的存储空间。
ZNS解决传统SSD问题的高性能存储栈设计
大隐隐于野
09-08 768
最近在做ZNS-ssd 相关的测试，因为 rocksdb 社区有一个 Hans 提的，引起了很多大佬的讨论。虽然还是没有合入主线（其仅仅是作为了一个文件系统的backend，而且需要特殊的硬件支持，并且合入需要单独维护几千行代码，对于社区来说代价还是有点高，大家建议Hans 单独拉一个子项目，作为rocksdb的plug），但是在讨论过程中大家对Zenfs的接入还是比较欢迎的。
NVMe Zoned Namespaces (ZNS) SSDs
wenj12的博客
07-27 4136
分区命名空间(ZNS) ssd代表了主机软件和基于闪存的ssd之间的一种新的功能划分。ZNS SSD将其容量划分为zone，每个zone可以按任意顺序读取，但必须按顺序写入。这些特性允许ZNS SSD改善其内部数据放置，从而通过更高的写吞吐量、更低的QoS和更大的容量获得更高的性能。...
ZenFS+rocksdb+nvmevirt搭建ZNS SSD模拟环境
yumWant2debug的博客
06-25 1920
在虚拟机中搭建ZNS SSD实验环境并通过rocksdb进行测试。是一款比较新的SSD 仿真器(emulator)，通过内核模块来模拟ZNS SSD，论文中性能更好，模拟的准确度更接近真实设备，且支持kv-ssd。在NVMeVirt可以通过Makefile中不同的参数配置SSD类型，也可以在ssd_config里配置SSD参数。Zenfs是rocksdb的一个插件，可以减少系统写放大，支持ZNS，自带性能测试工具。
NVMe ZNS简介——《深入浅出SSD》第2版
最新发布
u013201718的博客
03-06 3837
Zone Namespace（Zoned命名空间）是指为运行ZNS协议定义的命令集合的命名空间。把整个Zoned Namespace分化成的大小相同、连续、不重合的逻辑块（Logical Block）空间，这些逻辑块空间就是Zone。每个Zone都拥有自己独立的属性，这些属性在Zone描述符的数据结构里定义，现摘取部分如下。1）Zone大小（Zone Size）：指一个Zone里面的逻辑块数目。根据定义，对一个命名空间而言，Zone Size是固定的。
NVME_Express.rar_NVme 协议_huntvpo_nvme_nvme协议下载_observeysq
07-15
了解和掌握NVMe协议对于系统架构师、存储开发者、硬件工程师以及数据中心运维人员至关重要，因为它能帮助他们构建更高性能、更低延迟的存储解决方案，适应大数据和云计算时代的需求。通过深入阅读这些文档，你可以...
nvme协议标准2.0
07-10
在NVMe 2.0标准中，引入了重要的新特性——ZNS（Zone Namespace）以及Open Channel SSD的概念，这些更新进一步提升了SSD的性能和效率，同时也为数据中心和存储解决方案提供了新的设计可能性。 1. NVMe协议基础： ...
NVMe协议1.4c英文原版
09-29
NVM Express（NVMe）是一种高速接口标准，用于优化固态硬盘（SSD）与主机系统之间的数据传输。NVMe 1.4c是NVMe协议的最新修订版，...对NVMe协议的深入理解对于设计、开发和维护现代存储解决方案的IT专业人士至关重要。
微星主板zh77-G43没有NVme协议的主板可以自己刷用上m.2 SSD了
04-25
通过刷bios来支持NVme协议，从而可以通过在主板上加一个m.2转接卡来支持m.2的ssd固态硬盘，以提升电脑运行速度。此方法比直接安装个sata接口的SSD硬盘速度要快得多，让你的老爷机焕发第二春。当然，刷BIOS有风险，...
基于NVMe与TCP的超高性能存储解决方案.pptx
10-13
基于NVMe与TCP的超高性能存储解决方案.pptx
[元带你学NVMe协议] ZNS 起源 : 解决传统SSD问题的高性能存储栈设计
存储
04-16 648
ZNS-SSD 出现的起源肯定是因为传统的block interface ssd 也就是 Flash-ssd 有一些无法很好解决的问题
ZNS NVMe分区存储详解
大隐隐于野
09-11 671
在传统的基于块的SSD中，闪存转换层(FTL)需要1GB的DRAM来处理1TB的NAND闪存，用来存储地址映射或间接表，记录当前存储每个逻辑块地址(LBA)的物理NAND闪存地址。在实际中，硬盘倾向于聚集多个擦除块（支持跨多个die和所有控制器通道）的区域大小，这样对单个区域的顺序写(或读)就可以像传统的基于FTL SSD所支持的那样快。在单个分区的命名空间中，所有区域将使用相同的区域大小，但是硬盘可以支持重新格式化命名空间以更改其区域大小，或者支持使用不同区域大小的多个命名空间。
Zoned Storage-应用
keke_Memory的博客
05-20 386
Zoned Storage-应用RocksDB with ZenFSZenFS介绍ZenFS 内部结构Getting StartedPrerequisites构建和安装 ZenFSZenFS 命令Benchmarking 基准测试 RocksDB with ZenFS ZenFS介绍 RocksDB 是用于快速存储设备的持久KV存储。 它是使用 Log-Structured Merge-Tree (LSM-tree) 数据结构实现的。 它类似于基于 LSM-tree 的键值引擎实现：值存储在按键递增顺序排序
“好玩儿”文件系统大赏
内核工匠
05-21 868
Linux文件系统千千万，奇奇怪怪占一半。作为Unix/Linux操作系统的基本哲学之一，“一切皆文件”的设计思想产生了很多种不同的文件系统。有的文件系统并没有持久性的存储设备，比如：tm...
ZNS SSD的优势、缺陷、优化：深入解读 eZNS SSD (OSDI 2023)
pumawave的专栏
11-29 1465
为应对数据增长对存储系统的挑战，基于闪存的固态硬盘（SSD）已取代传统机械硬盘成为主流。当前常用的与机械硬盘接口兼容的块接口与闪存介质访问特征不匹配，导致性能波动大、成本高。为此，NVMe标准工作组推出了与闪存相契合的分区命名空间（ZNS）接口技术规范，ZNS SSD在容量、成本、性能上表现出巨大优势。虽有软件兼容性和市场不确定性等问题，ZNS SSD为存储技术发展带来新机遇。在此背景下，OSDI 2023论文eZNS提出了一种基于小尺寸分区设备的逻辑分区抽象，以提高性能和公平性。
[元带你学NVMe协议] ZNS 架构: 解决传统SSD问题的高性能存储栈设计
存储
04-16 2131
然而 ZNS 的推出，ZNS 内部的设计本身能够极大的降低SSD 内部的写放大，提升写吞吐，同时少了很多的指令和对LBA的管理操作（erase block的粒度大，减少了 对LBA的需求），ZNS 做了一个非常大胆的挑战，开发了支持文件系统语义的端到端的访问形态的文件系统 Zenfs ，数据的存储绕开像原本 block interface 一样需要庞大的I/O栈，直接与ZNS-SSD 进行交互。同时一个完整的 ZNS设备是支持完整的存储栈，包括底层的块驱动到上层的文件系统都是已经实现好的。
Zoned Storage-Linux Kernel Support 之 文件系统
keke_Memory的博客
05-20 551
Zoned Storage-Linux Kernel Support之文件系统文件系统zonefs磁盘元数据区域类型子目录区域文件格式选项IO错误处理挂载选项Zonefs 用户空间工具例子f2fs分区块设备支持区域容量支持限制主机管理的 SMR HDD 的使用示例NVMe ZNS SSD 的使用示例BtrfsZoned Block Device SupportBlock Allocation ChangesI/O Management区域容量支持限制系统要求主机管理 SMR HDD 的使用示例XFSext4
炙手可热的ZNS SSD将会为数据中心带来什么？
存储随笔
09-14 664
ZNS SSD目前已经成为炙手可热的明星，各大硬盘厂商和控制器厂商都在全力争夺这个大蛋糕，由于ZNS SSD的使用场景和成本优势，基于QLC NAND的ZNS SSD将是最大的赢家。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

元存储

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值