并行NFS: 打破NFS 的性能瓶颈

原创 2007年09月24日 10:58:00
这个页面包括有关pNFS的介绍—一种新出现的并行I/O标准,它是现在普遍使用的NFS标准的下一个主要扩展部分。Panasas积极推广pNFS标准和并行存储器。

    事实上,pNFS的想法产生于2003Garth GibsonPanasas的创始人和CTO)和美国拉斯阿拉莫斯国家实验室的Gary GriderSandia国家实验室的Lee Ward的一次交谈中。.这个初始的突发奇想在2003年之后由一个从事NFS并行存储器扩展的工作室继续研究,这个工作室由Gibson和密执安大学信息技术集成中心的Peter Honeyman主持。

    更多的合作和交谈导致了2004年向IETF组织提交了初始向题陈述。这份陈述由GibsonPanasasBrent Welch及网络设备公司的Peter Corbett撰写。从这时开始,行业的支持和介入稳定地增加导致了IETF工作组在2006年把pNFS纳入NFSv 4.1小版本草案中。GibsonWelch和其他许多Panasas的人员继续全力推动这个标准向前发展。

并行基础知识:pNFS介绍

    最近几年,高性能数据中心已经快速向并行技术转移,比如集群计算和多核心处理器,这些加速了并行应用的开发和广泛使用。.  

    虽然这种并行使用的增加解决了大多数的计算瓶颈,它却把性能瓶颈转移到了存储I/O系统。随着主流计算转向并行,存储子系统也需要转移到并行技术。为了成为通用的方式,需要一个标准的方法,能够从多个存储供应商选择存储设备并且从任何客户端都能自由的存取并行存储器。

    为了转向高一等级的性能水平,当存储系统依附到一个经济有效的标准时必须对并行做最优化。NFS,当前流行的网络文件系统标准并不支持并行I/O,主要存储供应商提供的现有并行产品也不能彼此兼容。在业界提供出一个并行存储的标准之前,用户选用设备都将继续受到妨碍,他们勉强的部署一套存在许多不兼容的并行存储系统。.  

    今年稍后,IETF工程任务组NFS v4 小组委员会预计将结束并行NFS(pNFS )协议的工作,它将是NFS 版本4.1 RFC的一部分。这个里程碑将使NFS V4.1从因特网草案成为一个推荐标准。并行NFS能够在客户端和存储设备之间直接并行传送数据,不需要昂贵的元数据管理器(filer head)。期望它支持LinuxWindows和主要的UNIX版本如SolarisAIX.  

    这个新标准正在由一个存储行业的技术领导者组成的联盟共同开发,包括PanasasIBMEMCNetwork ApplianceSun和密执安大学的信息技术集成中心

当今NFS 遇到的挑战

    为了了解pNFS是如何工作的,首先必须了解在一个典型的NFS结构中当客户端试图存取一个文件时是如何进行的。1展示了一个传统的NFS结构。你可以看到NFS服务器位于客户端计算机和实际的物理存储装置之间。当客户端想要存取存储器上的文件时,它必须创建一个到NFS服务器的连接(也就是创建一个安装点)当客户端试图存取存文件时NFS服务器起仲裁者的作用,管理所有需要的数据处理,把数据传送到提出请求的客户端。

    由较少的客户端访问相对较小的数据集时这种结构工作的很好,通过直接连接的存储器能够收到显著的效益(就象你PC上的磁盘);也就是数据能够由多个客户端共享,能够由任何有NFS能力的客户端访问。可是如果大量的客户端需要访问数据或太大的数据集时,NFS服务器很快就变成了一个瓶颈,抑制了系统性能。pNFS从根本上消除了这个瓶颈,允许从许多许多客户端以难以置信的速度快速存取非常大的数据集。

pNFS 消除了瓶颈

    这里我们可以看到pNFS如何修改了NFS结构,消除了我们刚才提到的性能瓶颈。实质上的变化是NFS服务器移动到了带外,变成了一个元数据服务器。意思就是它管理着有关数据布局的数据。那么当一个客户端需要存取数据时它需要做什么呢?.  

    它首先要做的是与NFS服务器联系就象先前例子中所做的一样。可是这次服务器提供给客户端一个到哪里去寻找所要数据的布局图和读/修改/写这些数据的授权书。一旦客户端有了这两部分,它存取数据时就直接与存储设备联系。使用传统的NFS时数据的每个比特都要通过NFS服务器,使用pNFSNFS服务器从主数据通路中移出来了,允许客户端自由地和快速地存取数据。当然所有的NFS的优点都继续保留,但现在消除了瓶颈,数据能够以并行方式以非常快的吞吐率被访问,系统容量能够容易的扩展而不影响总性能。

 
版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

NFS性能优化手册

http://www.lichaozheng.info/2011/10/13/nfs%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96/?replytocom=17#sec-7 ...

NFS架构下使用realpath_turbo优化php性能

php进程调试中出现大量lstat系统调用,通过编译realpath_turbo模块,开启同时支持open_basedir和realpath_cache_size,优化php性能 生产系统架构图...

cinder后端采用nfs和lvm性能对比

作者:【吴业亮】云计算开发工程师 博客:http://blog.csdn.net/wylfengyujiancheng物理机配置:1、将机械盘一块盘分为两个区,一个作为lvm,另一个区作为nfs。...

Linux NFS服务器性能优化

NFS是网络文件系统(Network File System)的简称,是分布式计算系统的一个组成部分,可实现在异种网络上共享和装配远程文件系统。NFS由Sun公司开发,目前已经成为文件服务的一种标准(...
  • bo5509
  • bo5509
  • 2012-11-15 16:35
  • 2032

阿里云搭建基于MatlabMPI的集群(八):NFS性能调优

MatlabMPI的底层通信很大程度上取决于NFS的传输性能,在阿里云搭建基于MatlabMPI的集群(六):NFS文件共享系统安装与配置中,我们用最基本的moun语句挂载了共享文件目录。笔者在运行4...

NFS架构下使用realpath_turbo优化php性能

摘要: php进程调试中出现大量lstat系统调用,通过编译realpath_turbo模块,开启同时支持open_basedir和realpath_cache_size,优化php性能 生...

nfs安装部署文档

  • 2016-03-25 12:00
  • 23KB
  • 下载

win7/2008 nfs 补丁程序

  • 2017-01-10 12:03
  • 384KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)