并行NFS: 打破NFS 的性能瓶颈

原创 2007年09月24日 10:58:00
这个页面包括有关pNFS的介绍—一种新出现的并行I/O标准,它是现在普遍使用的NFS标准的下一个主要扩展部分。Panasas积极推广pNFS标准和并行存储器。

    事实上,pNFS的想法产生于2003Garth GibsonPanasas的创始人和CTO)和美国拉斯阿拉莫斯国家实验室的Gary GriderSandia国家实验室的Lee Ward的一次交谈中。.这个初始的突发奇想在2003年之后由一个从事NFS并行存储器扩展的工作室继续研究,这个工作室由Gibson和密执安大学信息技术集成中心的Peter Honeyman主持。

    更多的合作和交谈导致了2004年向IETF组织提交了初始向题陈述。这份陈述由GibsonPanasasBrent Welch及网络设备公司的Peter Corbett撰写。从这时开始,行业的支持和介入稳定地增加导致了IETF工作组在2006年把pNFS纳入NFSv 4.1小版本草案中。GibsonWelch和其他许多Panasas的人员继续全力推动这个标准向前发展。

并行基础知识:pNFS介绍

    最近几年,高性能数据中心已经快速向并行技术转移,比如集群计算和多核心处理器,这些加速了并行应用的开发和广泛使用。.  

    虽然这种并行使用的增加解决了大多数的计算瓶颈,它却把性能瓶颈转移到了存储I/O系统。随着主流计算转向并行,存储子系统也需要转移到并行技术。为了成为通用的方式,需要一个标准的方法,能够从多个存储供应商选择存储设备并且从任何客户端都能自由的存取并行存储器。

    为了转向高一等级的性能水平,当存储系统依附到一个经济有效的标准时必须对并行做最优化。NFS,当前流行的网络文件系统标准并不支持并行I/O,主要存储供应商提供的现有并行产品也不能彼此兼容。在业界提供出一个并行存储的标准之前,用户选用设备都将继续受到妨碍,他们勉强的部署一套存在许多不兼容的并行存储系统。.  

    今年稍后,IETF工程任务组NFS v4 小组委员会预计将结束并行NFS(pNFS )协议的工作,它将是NFS 版本4.1 RFC的一部分。这个里程碑将使NFS V4.1从因特网草案成为一个推荐标准。并行NFS能够在客户端和存储设备之间直接并行传送数据,不需要昂贵的元数据管理器(filer head)。期望它支持LinuxWindows和主要的UNIX版本如SolarisAIX.  

    这个新标准正在由一个存储行业的技术领导者组成的联盟共同开发,包括PanasasIBMEMCNetwork ApplianceSun和密执安大学的信息技术集成中心

当今NFS 遇到的挑战

    为了了解pNFS是如何工作的,首先必须了解在一个典型的NFS结构中当客户端试图存取一个文件时是如何进行的。1展示了一个传统的NFS结构。你可以看到NFS服务器位于客户端计算机和实际的物理存储装置之间。当客户端想要存取存储器上的文件时,它必须创建一个到NFS服务器的连接(也就是创建一个安装点)当客户端试图存取存文件时NFS服务器起仲裁者的作用,管理所有需要的数据处理,把数据传送到提出请求的客户端。

    由较少的客户端访问相对较小的数据集时这种结构工作的很好,通过直接连接的存储器能够收到显著的效益(就象你PC上的磁盘);也就是数据能够由多个客户端共享,能够由任何有NFS能力的客户端访问。可是如果大量的客户端需要访问数据或太大的数据集时,NFS服务器很快就变成了一个瓶颈,抑制了系统性能。pNFS从根本上消除了这个瓶颈,允许从许多许多客户端以难以置信的速度快速存取非常大的数据集。

pNFS 消除了瓶颈

    这里我们可以看到pNFS如何修改了NFS结构,消除了我们刚才提到的性能瓶颈。实质上的变化是NFS服务器移动到了带外,变成了一个元数据服务器。意思就是它管理着有关数据布局的数据。那么当一个客户端需要存取数据时它需要做什么呢?.  

    它首先要做的是与NFS服务器联系就象先前例子中所做的一样。可是这次服务器提供给客户端一个到哪里去寻找所要数据的布局图和读/修改/写这些数据的授权书。一旦客户端有了这两部分,它存取数据时就直接与存储设备联系。使用传统的NFS时数据的每个比特都要通过NFS服务器,使用pNFSNFS服务器从主数据通路中移出来了,允许客户端自由地和快速地存取数据。当然所有的NFS的优点都继续保留,但现在消除了瓶颈,数据能够以并行方式以非常快的吞吐率被访问,系统容量能够容易的扩展而不影响总性能。

 

NFS 监控和调优

http://www.ibm.com/developerworks/cn/aix/library/au-aix7networkoptimize2/ 这个关于 AIX® 7 网络的...
  • onlyForCloud
  • onlyForCloud
  • 2015年09月21日 14:13
  • 2297

NFS读写块大小问题分析

Linux NFS 客户端在挂载服务器的 NFS 共享时可以使用 rsize 和 wsize 参数指定 NFS 读写的块大小,但实际使用时发现并不完全凑效,下面简单分析一下。 我先在一台 RHEL6...
  • freedom8531
  • freedom8531
  • 2015年02月12日 14:43
  • 1838

高性能高并发服务的瓶颈及突破思路

服务的瓶颈有哪些 通常来说程序的定义是算法+数据结构+数据,算法简单的理解就是一种计算方式,数据结构顾名思义是一种存储组织数据的结构,这两者体现了程序需要用到的计算机资源涉及到CPU资源、内存资...
  • hanruikai
  • hanruikai
  • 2016年09月12日 11:02
  • 2646

性能测试分析之带宽瓶颈的疑…

原文地址:性能测试分析之带宽瓶颈的疑惑作者:Amy小太阳 第一部分, 测试执行 先看一图,再看下文 这个当然就是压力过程中带宽的使用率了,我们的带宽是1Gbps的,合计传输速率为128MB/s,也...
  • qiu5213173
  • qiu5213173
  • 2015年05月30日 11:31
  • 2580

Linux_NFS服务器性能优化.doc

  • 2013年06月03日 10:48
  • 267KB
  • 下载

iSCSI,CIFS,NFS协议的性能评测

  • 2009年09月08日 22:09
  • 222KB
  • 下载

cinder后端采用nfs和lvm性能对比

作者:【吴业亮】云计算开发工程师 博客:http://blog.csdn.net/wylfengyujiancheng物理机配置:1、将机械盘一块盘分为两个区,一个作为lvm,另一个区作为nfs。...
  • wylfengyujiancheng
  • wylfengyujiancheng
  • 2016年12月09日 11:28
  • 1272

Centos 7下通过zabbix监控nfs client的读写性能

操作环境 Centos 7.2 zabbix 3.2 nfs v4 zabbix-server:10.10.200.193 zabbix-agent:10.10.200.227(n...
  • bobpen
  • bobpen
  • 2016年12月06日 15:20
  • 1370

NFS架构下使用realpath_turbo优化php性能

php进程调试中出现大量lstat系统调用,通过编译realpath_turbo模块,开启同时支持open_basedir和realpath_cache_size,优化php性能 生产系统架构图...
  • ylhalo
  • ylhalo
  • 2017年05月31日 10:47
  • 235

NFS性能优化手册

http://www.lichaozheng.info/2011/10/13/nfs%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96/?replytocom=17#sec-7 ...
  • freedom8531
  • freedom8531
  • 2015年02月13日 13:41
  • 2358
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:并行NFS: 打破NFS 的性能瓶颈
举报原因:
原因补充:

(最多只允许输入30个字)