论文阅读
文章平均质量分 87
阅读论文,分析其目标、挑战、创新点、局限性
妙BOOK言
中山大学,计算机博士在读
展开
-
gLSM: Using GPGPU to Accelerate Compactions in LSM-tree-based Key-value Stores——论文泛读
针对LSM树压缩的优化。本文提出gLSM,充分利用GPGPU内部的并行性和计算能力来提高压缩性能。包括以下模块:数据传输管理、并行编码和解码、面向GPGPU的排序和重复数据消除、任务协作。本文实现了一个运行时驱动程序,以促进CPU和GPGPU之间的协作,并行执行CPU侧任务卸载和GPGPU侧压缩。同时设计了键值分离方法,以减少从CPU侧存储器到GPGPU对应存储器的传输数据量。原创 2024-05-22 11:25:28 · 72 阅读 · 0 评论 -
An LSM Tree Augmented with B+ Tree on Nonvolatile Memory——论文泛读
针对LSM树压缩的优化。本文提出了LAB-DB,在NVM上用一对B+树扩充现有的LSM树,利用NVM上的B+树进行原位更新,节省空间同时减少了压缩频率和压缩时间,从而降低了写入的压缩开销和读取的存储访问次数。原创 2024-05-22 11:23:53 · 219 阅读 · 0 评论 -
NVMM-Oriented Hierarchical Persistent Client Caching for Lustre——论文泛读
针对Lustre客户端缓存策略的优化,本文提出NVMM-LPCC,将基于NVMM的客户端文件系统与Lustre LPCC缓存方案相结合。缓存在文件粒度上工作,实现两种缓存模式:读写模式(RW-NVMM-LPCC)和只读模式(RO-NVMM-LPCC)。NVMM-LPCC利用Lustre的分层存储管理(HSM)和分布式锁机制,实现客户端缓存和服务器端存储层之间的数据迁移,提供全局统一命名空间并确保数据一致性。原创 2024-05-21 10:46:44 · 157 阅读 · 0 评论 -
A Study of Failure Recovery and Logging of High-Performance Parallel File Systems——论文泛读
针对并行文件系统的可靠性的研究,主要针对故障恢复和日志记录机制。(1)本文提出PFault,故障注入工具,对PFS透明,易于部署。构建了基于iSCSI的PFault原型,涵盖了三个具有代表性的故障模型(即整个设备故障、全局不一致性和网络分区)。为了解决将iSCSI添加到PFS软件堆栈中的潜在问题,开发了非iSCSI版本,用于验证iSCSI对所研究的目标PFS行为的潜在影响。原创 2024-05-20 14:01:13 · 539 阅读 · 0 评论 -
Copy-on-Abundant-Write for Nimble File System Clones——论文阅读
针对BetrFS中目录克隆的优化,传统的CoW受复制粒度影响,复制粒度较大则对CoW单元的第一次写入延迟高;复制粒度较小则局部性差,顺序读取开销高。本文提出大量写入时复制的策略(CAW)。(1)将BetrFS的Bε树数据结构转换为有向无环图(Bε-DAG),使不同的遍历路径能够重用相同的物理数据,将单次的小写通过缓冲区汇集,一次性写入,从而降低写放大。支持:节点引用计数(克隆后添加新引用指向克隆路径),过滤主键(克隆后删除缓冲区中克隆路径无法访问的路径),前缀转换(不修改数据,修改查找时的路径)。原创 2024-05-20 13:59:50 · 841 阅读 · 0 评论 -
OmniCache: Collaborative Caching for Near-storage Accelerators——论文泛读
针对协同使用主机和近存储加速器的系统,如何协同利用主机和设备的cache和计算能力,提升整体I/O和数据处理性能。本文提出 OmniCache,结合近存储加速器、主机 CPU、各自的内存,来加速 I/O 和数据处理。包括三个创新点:(1)近缓存 I/O:水平缓存设计,同时利用主机缓存和设备缓存,提高 I/O 的缓存利用率,降低读写放大。(2)用于并发 I/O 的协作缓存:允许应用单独使用主机缓存或设备缓存,减少缓存驱逐导致的停滞。原创 2024-05-18 15:11:44 · 709 阅读 · 0 评论 -
Exploiting Flat Namespace to Improve File System Metadata Performance on Ultra-Fast ...——论文泛读
针对NVM上文件系统元数据的优化,现有方法基于树形命名空间,导致昂贵的路径遍历开销;元数据在物理空间分散,无法充分利用NVM的高性能。本文提出FlatFS+,具有扁平的命名空间架构,同时提供了兼容的分层命名空间视图。包括三个优化点:(1)缩短路径遍历:全路径遍历模型。将路径名查找与其他复杂的系统操作分离,同时保留了传统路径遍历的语义。(2)优化范围操作:通过范围优化的Br树来管理平面命名空间中可变大小的路径名索引键,Br树提供了有效的节点查找和数据结构级别的范围操作。原创 2024-05-17 14:33:13 · 776 阅读 · 0 评论 -
TPFS: A High-Performance Tiered File System for Persistent Memories and Disks——论文泛读
针对跨DRAM、PM、SSD的分层文件系统,如何在多种异构设备中迁移数据实现更高性能。本文提出了TPFS,跨PM和磁盘的分层文件系统。包括两个优化点:(1)利用三个预测器,分析文件I/O序列,预测:同步性、写入大小和读取频率。根据预测将I/O请求引导到最合适的层:同步更新的I/O传入PM层;小随机写入传入PM层;异步更新和大型顺序写入传入磁盘;经常读取的文件迁移到磁盘,并缓存在DRAM中。(2)在线评测应用程序的访问流,预测文件数据块的温度,识别冷写和热读的数据块,将相邻数据块合并迁移到磁盘。原创 2024-05-17 14:30:30 · 887 阅读 · 0 评论 -
Unified Holistic Memory Management Supporting Multiple Big Data Processing Frameworks over...——论文泛读
针对混合存储器上运行的大数据处理系统,包括用于数据处理的Spark和用于数据存储的QuickCached,如何优化混合存储器的使用。本文基于对Spark和QuickCached的分析,发现数据有可静态观察的访问模式,如频繁访问、很少访问。因此提出Panthera,根据语义感知在混合内存上进行内存管理。(1)对Spark和QuickCached分别设计静态分析器,根据源码分析其变量的访问模式。(2)根据静态分析的标记,运行时在DRAM和NVM间进行内存分配和迁移。原创 2024-05-16 14:53:29 · 767 阅读 · 0 评论 -
H-Container: Enabling Heterogeneous-ISA Container Migration in Edge Computing——论文泛读
针对边缘计算场景中,如何支持异构集体系结构(ISA)的计算节点间迁移服务。本文提出了H-Container,支持跨不同ISA的计算节点,迁移本机编译的容器化应用程序。有三个优势:(1)高度兼容,不需要用户源代码,也不需要编译器工具链修改;(2) 易于部署,在用户空间实现,没有操作系统或系统管理程序依赖性;(3)基本上符合Linux,可以迁移大多数Linux软件,包括服务器应用程序和动态链接的二进制文件。原创 2024-05-15 13:40:18 · 828 阅读 · 0 评论 -
Filesystem Fragmentation on Modern Storage Systems——论文泛读
本文针对文件系统碎片化问题,现有方法整理碎片引入的I/O开销过高。本文实验分析了现代存储设备上碎片化导致的性能和公平性下降,主要原因是请求分裂,即碎片化将单个系统调用拆分为多个小的随机I/O。因此提出了新的碎片整理工具FragPicker,分为两阶段执行。(1)在系统调用层跟踪I/O信息,对数据段访问计数,确定最影响性能的数据段。(2)确定数据块是否分段,若分段则分配新空间进行实际数据迁移。原创 2024-05-15 13:37:17 · 1012 阅读 · 0 评论 -
Joint Optimization of Chain Placement and Request Scheduling for Network Function...——论文泛读
在网络功能虚拟化(NFV)场景的调度,实现最大化服务中每个节点的平均资源利用率,最小化每个请求的平均响应延迟。本文将VNF链放置问题作为NP难的装箱问题的一个变体,并基于开放Jackson网络的概念对请求调度问题进行建模。针对两个需求分别提出方法,提出优先级驱动的加权算法 BFDSU 来提高资源利用率,提出启发式算法 RCKK 来减少响应延迟。局限性:两个方法是分开的,不能同时实现高资源利用率和低延迟两个目标。原创 2024-05-14 11:01:26 · 364 阅读 · 0 评论 -
It’s Hard to Share: Joint Service Placement and Request Scheduling in Edge Clouds with ...——论文泛读
针对移动边缘计算场景中,不同用户的资源需求包括可共享资源和不可共享资源,如何在这种条件下实现最优的服务放置和请求调度。本文通过大量证明表明以上问题是NP难的;于是提出了贪婪服务布局与最大流相结合的方法,得到最优的1/2近似的整体解;进一步提出贪婪服务放置与贪婪请求调度相结合的启发式算法;基于线性规划(LP)松弛和舍入的启发式算法。原创 2024-05-14 10:59:44 · 244 阅读 · 0 评论 -
PVFS: A Parallel File System for Linux Clusters——论文泛读
对PVFS的介绍,构建在Linux集群上的并行文件系统。应用程序进程通过客户端库与PVFS交互。PVFS在本地文件系统之上构建,通过管理器守护进程,处理元数据操作。管理器守护进程将数据条带化,映射到I/O守护进程,即本地客户端-服务器系统,运行在集群中的独立节点,并连接有磁盘。原创 2024-05-13 11:04:51 · 260 阅读 · 0 评论 -
An In-Depth Analysis of Cloud Block Storage Workloads in Large-Scale Production——论文泛读
对阿里云块存储的I/O进行分析,提出了一些发现:(1)部分卷中有较高的突发性,但总体上突发性较低。(2)卷间突发更为多样。(3)存在较高的短期突发性。(3)大部分卷在整个跟踪期内都是活跃的。(4)写入是决定阿里云活跃度的主要因素。(5)随机I/O在阿里云很常见。(6)读写集中在小部分工作集中,写比读更集中。(7)读写分别聚集在主要读和主要写的块中。(8)更新覆盖率较高,且更新覆盖范围因卷而异。(9)写后读(RAW)较大,但写后写(WAW)较小,WAW请求的数量大于RAW请求。原创 2024-05-11 14:21:11 · 886 阅读 · 0 评论 -
Measurement and Analysis of Large-Scale Network File System Workloads——论文泛读
本文研究了2007年,部署在公司和工程环境中的企业级文件服务器的两个大规模CIFS网络文件系统工作负载。分析(1)文件访问模式和寿命的变化,(2)文件I/O和文件共享的特性,(3)文件类型和客户端访问模式之间的关系。得到一些观察结果【已经是很老的结果了,顶多了解一下怎么分析负载,结果不能拿来用】:本文使用的两个工作负载更重写。读写访问模式更加频繁。字节在更长的顺序运行中传输。字节在更大的文件中传输。文件寿命长一个数量级。大多数文件关闭后不会重新打开。原创 2024-05-11 14:19:57 · 619 阅读 · 0 评论 -
Hierarchical File Systems are Dead——论文泛读
本文提出一种新的文件系统体系结构 hFAD,便于普通用户使用的文件系统,用标记的、基于搜索的名称空间取代了分层名称空间。(1)对象命名时使用多个标记+值命名,便于用户通过不同标记进行搜索。(2)对象访问时额外支持插入和部分删除,允许用户直接对字节操作,在对象中间插入或删除数据。(3)存储部分使用索引存储,根据标签构建多个索引。原创 2024-05-11 14:17:13 · 506 阅读 · 0 评论 -
The Quantcast File System——论文泛读
设计了QFS文件系统,与HDFS兼容。设计了几个优化点:采用RS编码存储数据,不使用三副本,节省50%存储空间;使用B+树存储元数据,将目录条目节点紧跟在目录属性节点之后以优化目录查询,块信息节点紧跟在文件属性节点之后,以优化打开和读取文件。原创 2024-05-10 14:05:08 · 358 阅读 · 0 评论 -
BatchFS: Scaling the File System Control Plane with Client-Funded Metadata Servers——论文泛读
针对用于大规模HPC的并行文件系统,现有方法受到目录上的锁争用、事务序列化、RPC开销、负载失衡等降低应用程序性能。本文提出客户端驱动的文件系统元数据架构BatchFS,针对非交互或批处理工作负载进行了优化。包括3个优化点:(1)放松的一致性模型,对于批处理工作负载可以在几乎没有外部协调的情况下协同执行任务,不需要实现强一致性。(2)惰性命名空间同步,每个作业都对文件系统快照进行操作,并自行管理其命名空间,最终同步到主快照中,减少了同步数量。原创 2024-05-10 14:04:02 · 708 阅读 · 0 评论 -
Optimizing Every Operation in a Write-optimized File System——论文泛读
对利用写优化结构(LSM-trees,Bε tree)的文件系统进行优化,提出BetrFS 0.2,包括3个优化点。(1)使用延迟绑定日志以磁盘带宽执行大型顺序写入,同时保持完整数据日志的恢复语义。只将数据写入空闲空间一次,同时平衡数据的崩溃一致性和I/O调度灵活性。(2)引入了称为分区的目录树划分技术,平衡递归目录遍历和重命名。在每个分区内有序,以接近磁盘带宽的速度遍历目录;重命名不迁移数据,只修改元数据索引,与基于inode的系统相当的速度重命名。原创 2024-05-09 11:13:36 · 350 阅读 · 0 评论 -
Dr. Hadoop: an infinite scalable metadata management for Hadoop—How the baby elephant...——论文泛读
对Hadoop中元数据管理的优化,优化负载均衡和故障容忍。提出动态循环元数据拆分(DCMS):(1)使用位置保持哈希在多个NameNode间分发元数据,保持元数据的局部性。(2)NameNode集群大小变化时,使用一致性哈希实现元数据的统一分布,保持负载平衡。(3)使用元数据复制以实现可靠性,在单点故障时依旧提供性能下降的服务。原创 2024-05-09 11:11:51 · 406 阅读 · 0 评论 -
Datacenter RPCs can be General and Fast——论文泛读
本文实现了eRPC,一种快速、通用的RPC系统,实现了与无损RDMA结构或专用网络硬件相当的性能。在三个关键指标上表现良好:小消息的消息速率;大消息的带宽;对大量节点和CPU核心的可扩展性。存在两个关键技术:(1)针对常见情况进行优化,当消息很小时,网络没有拥塞,RPC处理程序很短,尽可能避免处理大型消息、拥塞和长时间运行的RPC处理程序需要昂贵的代码路径。在重传、节点故障和速率限制的情况下实现零拷贝传输的技术。降低内存占用,NIC内存占用与集群中的节点数量无关。原创 2024-05-08 14:33:48 · 897 阅读 · 0 评论 -
The Full Path to Full-Path Indexing——论文泛读
针对使用全路径索引文件系统,现有方法受限于重命名成本过高。本文提出提升的Bε树,可以有效地重命名一系列按字典顺序排列的密钥。核心在于引入了新的键值原语,称为范围重命名。给定两个字符串p1和p2,在所有以p1为前缀的键中,将前缀p1替换为前缀p2。范围重命名是对连续键范围的原子修改,并且值不变。在Bε-树中有效地实现了范围重命名,并将开销从与子树大小成比例降低到与子树高度成比例。原创 2024-05-08 14:31:10 · 615 阅读 · 0 评论 -
More Than Capacity: Performance-oriented Evolution of Pangu in Alibaba——论文泛读
对阿里云盘古2.0的介绍,包括两个阶段:(1)通过文件系统重构和用户空间存储操作系统(USSOS),充分利用SSD和RDMA。设计了统一的、仅追加的持久层,引入了自包含块布局,以减少文件写操作的I/O延迟。USSOS使用运行到完成线程模型,利用高效CPU和内存资源分配的用户空间调度机制。(2)从面向容量发展为面向性能。升级基础设施,开发了每台服务器96 TB SSD,将网络带宽从25 Gbps升级到100 Gbps。引入了一系列关键设计,通过降低网络流量放大率和动态调整流量的优先级来优化网络带宽;原创 2024-05-06 13:48:52 · 891 阅读 · 0 评论 -
Pangu – The High Performance Distributed File System by Alibaba Cloud——阅读
对阿里云盘古2.0的基本介绍,整体分为三层:软硬件集成层,与硬件交互,独立完成新硬件、新媒体的快速导入;存储引擎进行数据持久化;核心基础层,负责元数据管理、数据的放置、一致性、可靠性、多副本协议、EC等功能。核心架构和HDFS相似。原创 2024-05-06 11:24:26 · 676 阅读 · 0 评论 -
File Systems Unfit as Distributed Storage Backends: Lessons from 10 Years of Ceph Evolution——论文泛读
分布式文件系统通常使用本地文件系统作为存储后端,但受到本地文件系统的三个限制:事务机制不高效;元数据性能不足;支持新存储硬件速度慢。因此Ceph提出BlueStore,用于直接在原始存储设备上运行的新后端。包括4个工作:(1)将低级文件系统元数据(如扩展位图)存储在RocksDB中,从而避免了更改磁盘格式。(2)设计用户空间文件系统BlueFS,使RocksDB能够在原始存储设备上更快地运行。(3)通过接口设计来优化克隆操作,并最小化由此产生的扩展引用计数的开销。原创 2024-04-30 11:13:26 · 766 阅读 · 0 评论 -
Facebook’s Tectonic Filesystem: Efficiency from Exascale——论文阅读
对Facebook存储系统进行介绍,之前采用多个子系统独自构建存储栈,不同子系统资源需求不同,导致资源没有充分利用。提出Tectonic,用单个系统实现各种用例,避免资源浪费,实现IOPS和存储空间的均衡,满足EB级别,租户间隔离,共享资源等的需求。包括4个部分:Chunk Store,由存储节点组成;Metadata Store,由 KV 存储和文件系统元数据层组成;Client Library,负责编排;Background services,维护集群一致性和容错。详细介绍了各种组件的实现方法。原创 2024-04-29 14:46:15 · 1316 阅读 · 1 评论 -
Colossus under the hood: a peek into Google’s scalable storage system——文章泛读
Client library:客户端库是应用程序或服务与 Colossus 交互的方式。根据应用程序的要求,客户端可以使用许多功能,例如软件 RAID。基于 Colossus 构建的应用程序使用各种编码来针对不同的工作负载微调性能和成本权衡。Colossus Control Plane:Colossus 的基础是其可扩展的元数据服务,该服务由许多 Curator 组成。客户直接与 Curator 对话以进行控制操作,例如文件创建。原创 2024-04-29 14:43:36 · 928 阅读 · 0 评论 -
Toward CXL-Native Memory Tiering via Device-Side Profiling——论文泛读
针对CXL内存的使用,现有方法进行内存分层时,受限于低分辨率和高开销内存访问分析技术。本文提出NeoMem,软硬件协同的CXL内存分层解决方案。硬件使用设备侧内存访问分析单元NeoProf,容易分析对CXL内存的LLC缺失,并提供页面热度、内存带宽利用率、读/写比率、访问频率分布等。在操作系统方面,利用NeoProf信息实施了高级内存分层策略,以实现高效的热页面升级。原创 2024-04-28 10:54:52 · 639 阅读 · 0 评论 -
Streamlining CXL Adoption for Hyperscale Efficiency——论文泛读
本文针对将CXL应用于超大规模的需求,介绍了一种CXL集成解决方案,与现有OCP超大规模CXL分层内存扩展器规范相符。引入了一种节能、可扩展、硬件加速、无损压缩内存CXL层。通过在缓存线粒度上实现专有的(解)压缩算法,以及开源LZ4算法的双硬件加速器实现,在纳秒内提供2-3倍的CXL内存压缩,为最终客户提供20-25%的TCO降低,同时不需要额外的物理插槽。原创 2024-04-26 10:39:26 · 240 阅读 · 0 评论 -
Logical Memory Pools: Flexible and Local Disaggregated Memory——论文泛读
利用CXL实现分离式内存,本文提出逻辑内存池,在每个服务器中分割出部分本地内存来创建内存池,而不是使用与服务器分离的物理内存池。在逻辑上将每个服务器的内存划分为私有和共享区域,其中所有共享区域的并集构成了分离式内存。局限性:但这种方法丢失了CXL扩展内存的优势。原创 2024-04-26 10:37:29 · 333 阅读 · 0 评论 -
Memory Sharing with CXL: Hardware and Software Design Approaches——论文阅读
基于CXL设备支持内存共享,分为基于软件和基于硬件两种方式。基于软件需要多层间协议的支持和实现,或通过OpenSHMEM实现。基于硬件则利用硬件内的驱动程序支持共享内存访问、重映射、访问粒度等。原创 2024-04-25 15:10:22 · 957 阅读 · 0 评论 -
GPU Graph Processing on CXL-Based Microsecond-Latency External Memory——论文泛读
本文使用基于CXL的外部存储器对GPU图遍历进行了分析和评估。考虑到图处理工作负载的性质,大约32B的地址对齐,以及接近几百字节的数据传输,可以实现最佳运行时间。转化为对外部存储器的要求,即几百MIOPS的随机读取性能和几微秒的延迟,表明具有较长延迟的CXL存储器(包括配备了低延迟闪存的CXL)可以用作外部存储器,以实现与主机DRAM相当的性能。原创 2024-04-25 15:08:13 · 314 阅读 · 0 评论 -
Exploiting CXL-based Memory for Distributed Deep Learning——论文泛读
基于CXL内存扩展内存时,如何优化DL模型训练,本文提出DeepMemoryDL框架,通过资源收集+负载分析+数据预取,优化模型训练时间,避免数据读取导致的I/O停滞。核心是数据预取,并没有利用很多CXL的特性。原创 2024-04-25 15:05:51 · 938 阅读 · 0 评论 -
emucxl: an emulation framework for CXL-based disaggregated memory applications——论文阅读
本文提出了CXL模拟器,利用2个socket的物理服务器作为底层硬件,利用双节点虚拟机映射两个socket上的CPU和DRAM,其中一个映射CPU+DRAM作为本地内存,另一个只映射DRAM作为CXL远程内存。在硬件基础上设计了一套用户空间API,用于分配和释放内存。随后设计了两个简单的程序测试模拟器的效果。局限性:只能模拟单个节点和一个CX扩展内存,使用场景有限。根据实验结果看本地和远程内存延迟差距约65-85ms,API的开销可能较高。原创 2024-04-24 11:25:49 · 650 阅读 · 0 评论 -
A Scheduling Framework that Makes any Disk Schedulers Non-work-conserving solely based on...——论文泛读
针对断续工作型磁盘调度器的优化,现有方法在无法获取进程信息时、面对磁盘阵列时,效果不佳。本文提出流调度,只基于请求本身局部性。(1)分析请求到达时间、到达请求位置、挂起请求位置。在观察到一致模式后,调度框架指导调度器遵循模式。同时,保留了连续工作型调度器的机制,以避免请求服务中的长延迟甚至饥饿。(2)提出了磁盘阵列断续工作型调度方案。创建了一个与磁盘阵列相对应的虚拟磁盘,并在其上应用框架,以评估针对特定请求流跨磁盘协调调度的潜在好处。当评估结果为肯定时,将对所有磁盘进行协调调度。原创 2024-04-23 16:11:58 · 907 阅读 · 0 评论 -
Layer Aware Microservice Placement and Request Scheduling at the Edge——论文泛读
针对边缘计算场景中基于容器的微服务技术,基于容器的特点,不同微服务可以分层并且共享共同的基本层。本文提出层感知的微服务放置和请求调度(LA-MPRS),将同一位置的容器进行层共享,将问题公式化为整数线性规划问题,设计了保证近似率的迭代贪婪算法进行请求调度。原创 2024-04-23 16:10:13 · 289 阅读 · 0 评论 -
AlNiCo: SmartNIC-accelerated Contention-aware Request Scheduling for Transaction Processing——论文泛读
针对事务处理中大量请求如何调度到多核CPU。本文提出了AlNiCo,基于SmartNIC的请求调度的事务处理系统。采用软硬件结合的方式:(1)以硬件友好的方式描述争用,将系统状态分为三种类型,在SmartNIC上通过向量计算调度目标CPU。(2)软件反馈,软件定期采样全局状态,并更新NIC上的调度器,从而处理热点变化负载。原创 2024-04-23 16:07:26 · 843 阅读 · 0 评论 -
The Composite-file File System: Decoupling the One-to-one Mapping of Files and Metadata for...——论文阅读
针对文件系统中元数据和文件一对一映射的问题,本文设计了一个复合文件文件系统(CFFS),允许文件到元数据的多对一映射。将经常一起访问的小文件组成复合文件,并与小文件之间共享的单个复合inode。将小文件的索引节点的原始信息进行重复数据消除,并存储为复合文件的扩展属性。选择文件组合成复合文件有三种决策策略:基于目录的合并,将目录中的所有文件(不包括子目录)形成一个复合文件;基于嵌入引用合并,提取文件内容中的文件引用,组成复合文件;基于频率合并,通过频率挖掘分析文件引用,将经常一起访问的文件形成复合文件。原创 2024-04-22 10:46:11 · 940 阅读 · 0 评论 -
Small-File Access in Parallel File Systems——论文泛读
针对用于HPC应用的并行虚拟文件系统(PVFS),许多应用程序的自然I/O模式会生成许多小文件,但现有并行文件系统不能很好地支持小I/O访问。本文提出5个技术:(1)文件预处理:创建文件前提前生成数据对象,减少通信的消息数量。(2)文件填充:对小文件进行填充,显著减少了创建的数据对象的数量,同时stat操作不再需要额外获取小文件的文件大小,减少了数据收集的通信。(3)元数据提交合并:采用操作队列进行控制,根据队列大小衡量负载密集程度,低于阈值直接刷新,高于阈值则合并刷新。原创 2024-04-19 14:46:07 · 946 阅读 · 0 评论