PVFS: A Parallel File System for Linux Clusters——论文泛读

ALS 2000 Paper 分布式元数据论文阅读笔记整理

问题

Linux集群作为低成本、高性能并行计算平台,但缺乏并行文件系统的支持,它对于此类集群上的高性能I/O至关重要。

本文方法

本文为Linux集群开发了一个并行文件系统,称为并行虚拟文件系统(PVFS),构建在本地文件系统之上,描述了PVFS的设计和实现。并满足以下需求:为从多个进程或线程到公共文件的并发读/写操作提供高带宽;支持多个API:本机PVFS API、UNIX/POSIX I/O API[15]、MPI-IO[13,18]等;支持常见的UNIX shell命令,如ls、cp和rm;使用UNIX I/O API开发的应用程序必须能够访问PVFS文件,而无需重新编译;具有健壮性和可扩展性;便于其他人安装和使用。

PVFS提供了一个集群范围的一致名称空间,允许用户控制不同I/O节点上磁盘之间的数据分条,并允许现有二进制文件在PVFS文件上操作,而无需重新编译。设计为具有多个服务器的客户端-服务器系统,称为I/O守护进程。I/O守护程序通常在群集中的独立节点上运行,这些节点称为I/O节点,并连接有磁盘。每个PVFS文件都跨I/O节点上的磁盘进行条带化。应用程序进程通过客户端库与PVFS交互。PVFS还有一个管理器守护进程,处理元数据操作,如文件创建、打开、关闭和删除操作的权限检查。管理员不参与读/写操作;客户端库和I/O守护进程在没有管理器干预的情况下处理所有文件I/O。

给出了在Argonne Chiba City cluster上的性能结果,包括不同数量的计算节点、I/O节点、I/O请求大小的并发读写工作负载性能结果。MPI-IO的性能结果,包括并发读/写工作负载和BTIO基准测试。比较了在PVFS中使用Myrinet网络和快速以太网进行I/O相关通信时的I/O性能,使用Myrinet获得了高达700兆字节/秒的读写带宽,使用快速以太网获得了225兆字节/秒钟的读写宽带。

总结

对PVFS的介绍,构建在Linux集群上的并行文件系统。应用程序进程通过客户端库与PVFS交互。PVFS在本地文件系统之上构建,通过管理器守护进程,处理元数据操作。管理器守护进程将数据条带化,映射到I/O守护进程,即本地客户端-服务器系统,运行在集群中的独立节点,并连接有磁盘。

  • 5
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

妙BOOK言

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值