文件系统DEntry Cache设计调研

最新推荐文章于 2024-05-11 22:59:21 发布
最新推荐文章于 2024-05-11 22:59:21 发布
阅读量218 收藏 1
点赞数 2
分类专栏： HDFS 文章标签： 分布式 linux 云计算 大数据 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/easonwx/article/details/132897505
版权

DEntry Cache

在文件系统（特别是HDFS）使用过程中，会产生大量的通过FullPath查询Inode的子请求，这类请求会转换成逐层目录的Posix语义Lookup(ParentInodeId, Name)操作。

  • 例如：通过FullPath的GetAttr，path为/A/B/C/D，那么就需要转换成多次的Lookup数据库操作：
    • Lookup(RootInodeId, a) = AInodeId
    • Lookup(AInodeId, b) = BInodeId
    • Lookup(BInodeId, c) = CInodeId
    • Lookup(CInodeId, d) = DInodeId

上述转换由于串行查询数据库，会导致查询时延成倍增加。DEntry Cache就是使用缓存技术，将低查询数据库时延。

本文将介绍几种典型的DEntry Cache设计，并给出比较结果。

不同文件系统DEntry Cache设计

FS缓存位置缓存内容处理策略淘汰策略一致性总结分类
HDFS单MDS全缓存(Pid, Name)->(InodeId)串行化遍历每一级目录。在内存中进行Lookup，有修改元数据操作时更新缓存无多客户端一致全缓存DEntryCache全缓存
Linux VFS DCache客户端(Pid, Name)->(InodeId)串行化遍历每一集目录，优先在内存中进行Lookup，（1）若命中，继续进行；（2）若未命中，从MDS获取数据并缓存1、优先淘汰已经删除文件/目录的DEntry，2、然后淘汰未使用的DEntry多客户端不一致1、通过缓存，减少Lookup次数，2、有一定淘汰策略减少Lookup次数，降低时延
DS-Cache客户端(Path)->(InodeId)在VFS DCache之上，构建DS-Cache。查询时，与缓存的Path进行前缀匹配，获取InodeId，（1）若命中部分层级目录，剩余的部分从VFS DCache获取，（2）若未命中，从VFS DCache获取缓存Path数量固定，根据Path的AIISC码计算hash取余，每次操作，根据从VFS DCache获取的结果，更新缓存。多客户端不一致减少串行遍历次数减少Lookup次数，将低时延
CubeFS客户端(Path)->(InodeId)根据Path获取Inode，（1）若命中，直接返回，（2）若未命中，从MDS查询一定时间内DEntry Cache无新的Path插入，清空DEntry Cache多客户端不一致减少串行遍历次数减少Lookup次数，降低时延
JuiceFS客户端(Pid, Name)->(InodeId)串行化遍历每一集目录，（1）若命中，根据获取的Inode进行GetAttr，校验内存是否有效，无效直接返回错误，否则返回成功，（2）若未命中，从MDS获取，并插入缓存DEntry加入缓存后，一定时间内失效淘汰多客户端不一致减少串行遍历次数，通过超时失效策略减少不一致时间减少Lookup次数，降低时延
IndexFS客户端(Pid, Name)->(InodeId)串行化遍历每一级目录，（1）若命中，直接返回，（2）若未命中，从MDS读取，并缓存不同DEntry设置不同失效时间，（1）根据目录层级设置失效时间，（2）根据读写IOPS访问频率设置失效时间多客户端不一致减少串行遍历次数，通过超时失效策略减少不一致时间减少Lookup次数，降低时延
HopsFS多个MDS(Pid, Name)->(InodeId)串行化在内存中遍历每一级目录，（1）若命中，并行查询数据库，若数据库查询结果与缓存相符，直接返回，若与缓存不符，退化为从MDS获取。（2）若未命中，从MDS获取。从数据库获取后更新缓存多客户端一致并行Lookup，减少整体时延并发查询数据库，降低时延

总结

总结起来，DEntryCache的设计包含如下考虑：

  • 是否需要多客户端强一致，如果需要强一致
    • 选择HDFS全缓存，不能满足大量元数据的诉求。
    • 选择HopsFS，Cache只作为辅助手段，将数据库的串行访问转换为并行访问，减少时延。
    • 选择类似CephFS CAP召回的办法通知客户端更新缓存，逻辑复杂很难实现。
  • 缓存(Pid, Name)->(InodeId)还是(Path)->(InodeId)
    • 选择缓存(Pid, Name)->(InodeId)，在某些情况下可能还是会大量访问数据库。
    • 选择缓存(Path)->(InodeId)，可以提高路径局部性，减少数据库访问，但会有大量重复的缓存。
  • 淘汰策略
    • 延时淘汰，可以尽量减少多客户端不一致的时间。

参考文献

  • HDFS介绍：https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html
  • VFS DCache介绍：https://www.halolinux.us/kernel-reference/the-dentry-cache.html
  • VFS DCache介绍：https://blog.csdn.net/whatday/article/details/100663436
  • DS-Cache论文：DS-Cache: A Refined Directory Entry Lookup Cache with Prefix-Awareness for Mobile Devices
  • CubeFS源码：https://github.com/cubefs/cubefs，cubefs/client/fs/dcache.go
  • JuiceFS源码：https://github.com/juicedata/juicefs，juicefs/pkg/fs/fs.go doResolve函数
  • IndexFS论文：IndexFS: Scaling File System Metadata Performance with Stateless Caching and Bulk Insertion
  • HopsFS论文：HopsFS: Scaling Hierarchical File System Metadata Using NewSQL Databases
easonwx
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
indexfs-0.3:IndexFS 核心
07-01
索引FS - 0.3.3 IndexFS 被设计为文件系统中间件，位于现有集群文件系统部署之上，以提高元数据性能以及原始文件系统的小文件操作效率。 IndexFS 重用底层文件系统的数据路径，并将目录条目、文件属性和小文件数据打包成一组存储在底层文件系统中的大型、不可变、日志结构和索引的数据结构 ( SSTables ) . 我们的实验表明，IndexFS 能够将我们现有的解决方案（例如PVFS 、 Lustre和HDFS ）提高几个数量级。 以下是描述如何在本地 Linux 机器上安装和运行 IndexFS 的指南。 请访问我们的项目主页了解更多信息。 另请注意，目前 IndexFS 的实现不具备生产质量，建议仅用于研究目的。 非常感谢。 INDEXFS 安装指南 系统先决条件 从源代码构建 独立模式下的 IndexFS 系统先决条件 IndexFS 依赖于gflags 、 glog
index ffs、index fs原理考究
qq_39081511的博客
02-26 588
1.创建测试表 SQL> CREATE TABLE TEST AS SELECT * FROM dba_objects WHERE 0=1;   2.创建测试索引 SQL> CREATE INDEX ind_test_id ON TEST(object_id);   3.插入测试数据 SQL> INSERT INTO TEST SELECT * FROM dba_o...
Elasticsearch模块功能之-索引存储（Store）
热门推荐
路漫漫其修远兮
08-06 1万+
【参考】http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/index-modules-store.html
每秒创建百万文件，百度沧海·文件存储CFS推出新一代Namespace架构
百度智能云
10-20 147
随着移动互联网、物联网、AI 计算等技术和市场的迅速发展，数据规模指数级膨胀，对于分布式文件系统作为大规模数据场景的存储底座提出了更高的要求。已有分布式文件系统解决方案存在着短板，只能适应...
linux dentry cache
DenzilXu的专栏
06-27 8518
Linux dentry cache学习 每个dentry对象都属于下列几种状态之一：   （1）未使用（unused）状态：该dentry对象的引用计数d_count的值为0，但其d_inode指针仍然指向相关的的索引节点。该目录项仍然包含有效的信息，只是当前没有人引用他。这种dentry对象在回收内存时可能会被释放。   （2）正在使用（inuse）状态：处于该状态下的den
论文悦读（3）——NVM文件系统之ZoFS（SOSP‘19）文件系统
不定期更新系统使用、编程小技巧，哔哩哔哩账号：https://space.bilibili.com/399455629，欢迎关注
04-20 1475
ZoFS（SOSP’19）是一款NVM用户态文件系统，其最主要的贡献在于提出了一种能让用户态NVM文件系统在用户态进行元数据修改的方法。
linux kernel 的文件系统操作以及设备操作分析
04-25
3、linux 内核中没有类 UNIX VFS(Virtual File System) 提供的 struct vnode 结构，那么具体的文件操作是如何与实际文件系统的操作挂钩的？4、超级块(super block)在文件与设备驱动操作中起到的作用？5、在以前的...
linux 根文件系统，根设备，sys_open, sys_read, sys_write, sys_mount, sys_mknod
01-09
 2.1 内核启动过程中，第一个文件系统为rootfs, 描述内核如何从rootfs切换到真正的根文件系统，  这其中包括了根设备的查找，还包括ramdisk, cpiok-initrd, image-initrd的描述。  2.2 内核如何关联文件dentry&...
linux 内核 目录项高速缓存 dentry cache 简介
whatday的专栏
09-09 4626
每个dentry对象都属于下列几种状态之一： （1）未使用（unused）状态：该dentry对象的引用计数d_count的值为0，但其d_inode指针仍然指向相关的的索引节点。该目录项仍然包含有效的信息，只是当前没有人引用他。这种dentry对象在回收内存时可能会被释放。 （2）正在使用（inuse）状态：处于该状态下的dentry对象的引用计数d_count大于0，且其d_inode指向...
linux dentry 存储,dentry与dentry_cache
weixin_35735663的博客
05-13 483
dentry只存在于内存中，存放在名为dentry_cache的slab分配器高速缓存中dentry_cache简称dcache，中文名称是目录项高速缓存，是Linux为了提高目录项对象的处理效率而设计的。它主要由两个数据结构组成：1、哈希链表dentry_hashtable：dcache中的所有dentry对象都通过d_hash指针域链到相应的dentry哈希链表中。2、未使用的dentry对象...
Linux文件系统(六)---三大缓冲区之 目录缓冲区dcache
shanshanpt的专栏
10-06 8043
在文件系统中，有三大缓冲为了提升效率：inode缓冲区、dentry缓冲区、块缓冲。 (内核：2.4.37)
关于linux vfs dentry cache
yiyeguzhou100的专栏
01-05 687
Linux使用目录项缓存（dentry cache）用于建立文件名到inode之间的映射关系，用来快速通过文件名访问查找文件。 每个目录项对象都有四种状态，分别为：空闲状态：该状态目录项对象不包含有效信息，没有被VFS使用；未使用状态：当前没有被内核使用，d_count的值为0，d_inode任然指向相关的索引节点；正在使用状态：正在被使用，d_count的值大于0，d_inode任然指向相...
分布式与一致性协议之ZAB协议(八)
Cover_sky的博客
05-08 959
1.ZAB协议是通过"一切以领导者为准"的强领导者模型和严格按照顺序处理、提交提案来实现操作的顺序性的2.领导者选举的目标是选举出大多数节点中数据最完整的节点，也就是大多数节点中事务标识符值最大的节点。任期编号、事务标识符、集群ID的值的大小决定了哪个节点更适合作为领导者，按照顺序，值最大的节点更适合作为领导者3.数据同步是通过以领导者的数据为准的方式来实现各节点数据副本的一致性的。需要注意的是，基于"大多数"的提交原则和选举原则能确保被复制到大多数节点并提交的提案不再改变。
Java - 分布式逻辑事务的一些轻操作
牧码的博客
05-08 260
Java - 分布式逻辑事务的一些轻操作
OpenHarmony 实战开发——分布式硬件管理详解
m0_70748458的博客
05-11 413
分布式硬件是 OpenHarmony 提供的一个分布式能力，能将多种设备组成一个“超级终端”，使用户根据现实需要和硬件能力，选择合适的硬件提供服务，灵活运用硬件进行资源分配和按需组合，充分发挥各类硬件设备的能力，达到使用上的最佳效果。什么是分布式硬件子系统？OpenHarmony 通过增强原来的分布式设备虚拟化能力，将多台设备的各种硬件资源，如屏幕、相机、扩音器、键盘、传感器及存储器等予以抽象，形成“超级虚拟终端”内的统一硬件资源池，并支持硬件资源的按需分配和重新组合，真正实现了硬件资源的全局调用。
问题：幂等性 分布式session
m0_72363694的博客
05-07 314
会保存controller中接收的request原理是ThreadLocal共享变量，为当前线程的RequestContextHolder重新设置上原来的请求数据，
分布式链路追踪 Zipkin+Sleuth（8）
最新发布
Wayfreem的博客
05-11 583
前面我们已经搭建了好几个组件了，会发现，其实就是各个组件的引入，以及相关的配置，其实如果是简单使用的话，这块不算复杂，我们先从简单入手嘛，后面有个基础或者概念了，就可以深入去学习了。但是在基础上面我们会遇到一个问题，就是分布式的环境下面，怎么能快速定位问题呢？
go-zero整合asynq实现分布式定时任务
宋发元
05-11 125
本教程基于go-zero微服务入门教程，项目工程结构同上一个教程。本教程主要实现go-zero整合asynq实现分布式定时任务。（教程源码分支：4.zero整合asynq定时任务）
Linux虚拟文件系统
02-01
Linux虚拟文件系统（Virtual File System，VFS）是Linux操作系统中的一个重要组成部分，它提供了一个统一的接口，使得用户和应用程序可以通过相同的方式访问不同类型的文件系统。 VFS的设计目标是将不同类型的文件系统抽象为一个统一的接口，使得用户和应用程序无需关心底层文件系统的具体实现细节。通过VFS，用户可以使用相同的系统调用（如open、read、write等）来访问不同类型的文件系统，包括本地文件系统（如ext4、XFS等）、网络文件系统（如NFS、CIFS等）以及虚拟文件系统（如procfs、sysfs等）。 VFS的核心数据结构是inode和dentry。inode（index node）表示文件或目录在文件系统中的索引节点，它包含了文件或目录的元数据信息，如权限、大小、时间戳等。dentry（directory entry）表示目录中的一个条目，它包含了文件或目录的名称和对应的inode指针。 VFS通过层次化的文件系统结构来管理不同类型的文件系统。在最顶层是一个虚拟文件系统层（VFS层），它提供了与用户和应用程序交互的接口。下面是一些常见的虚拟文件系统： 1. procfs：提供了对内核运行时信息的访问，以文件的形式呈现。用户可以通过读取procfs中的文件获取系统信息，如进程信息、内存信息等。 2. sysfs：提供了对设备和驱动程序的访问，以文件的形式呈现。用户可以通过sysfs获取和配置系统中的设备信息。 3. tmpfs：是一种基于内存的文件系统，它将文件存储在内存中而不是硬盘上，读写速度较快，适用于临时文件存储。 4. nfs：是一种网络文件系统，允许用户通过网络访问远程主机上的文件。 5. ext4、XFS等：是常见的本地文件系统，用于在硬盘上存储文件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值