WatchStor观察:剖析pNFS和文件系统的未来

  
  【WatchStor独家译文】像Panasas PanFS、Sun QFS、Quantum StorNext、IBM GPFS以及HP File Services这样的高性能文件系统能够给存储应用带来很大的价值。

就拿DigitalFilm Tree来说,它是一家位于好莱坞、为娱乐行业提供后期处理和虚拟效果服务的公司。最近这家公司不得不对他们的系统进行升级以应对Showtime的喜剧《单身毒妈》、CW的《人人都恨克里斯》以及NBC的《实习医生风云》等电视剧的后期处理。

这家公司采用了包括Apple Xsan、HP StorageWorks阵列、/交换机以及其他存储厂商的产品。另外他们还采用了混合型的操作系统环境,在Mac和PC上处理用户的工作。

DigitalFilm Tree创始人兼首席执行官Ramy Katrib表示:“我们处理电视节目的速度要求必须能够对超过100TB的数据进行非线性处理和管理。StorNext让我们不需要增加员工人数就可以大大提高工作效率。”

但是随着未来对文件系统协议的升级,例如NFS(包括并行NFS,即pNFS),NFS将有可能取代现有的许多专有文件系统吗?那让我们分析未来趋势之前,先看一看Sun和NetApp提供的其他一些高性能产品。

Sun Lustre

Sun称Lustre是“目前全球具有最佳可扩展性的并行文件系统”,现在全球十大超级计算机中的六个以及40%的TOP100超级计算机都采用了这个系统。

Sun Lustre部门总监Peter Bojanic表示:“Lustre文件系统能扩展至在一个命名空间内支持PB级的数据量,为超过25000名用户提供超过100GB/s的累积性能,用户中包括劳伦斯利弗莫尔国家实验室、橡树岭国家实验室以及圣地亚国家实验室的高性能应用,这些用户对大型文件I/O和持续高带宽有很高的要求。”

另外这款系统在石油和天然气、富媒体以及内容分布网络等领域的应用也在不断扩大,这些领域都要求有针对大型或者小型文件的混合型工作负载。Lustre与其他系统的一个不同之处就是,它可以被作为一款基于Linux的开源软件。这就是为什么你会发现,它能够与来自其他高性能计算厂商的产品进行集成,例如SGI、戴尔、惠普、Cray以及Terascala。

Lustre是一款基于目标的集群文件系统,但是它并不支持T10 OSD,而且底层存储分配管理也是基于块的。它的配置包括Lustre MetaData Server和Lustre Object Storage Servers。文件操作绕过MetaData Server,利用集群中的并行数据路径访问Object Server。服务器是以备援目的而配合成对的。Lustre可以在不同类型的网络下运行,其中包括IP网络和InfiniBand网络。

NetApp WAFL

NetApp有一款名为WAFL(Write Anywhere File Layout)的文件系统,整合了CIFS、NFS、HTTP、FTP、Fibre Channel以及iSCSI,能够兼容NetApp的Data ONTAP操作系统。由于WAFL集成了RAID-DP(NetApp高性能RAID-6),因此它能够在一两个磁盘驱动器发生故障的情况下保证系统的正常运转。

另外这款系统还采用了非易失性内存(NVRAM)以提高速度,NVRAM在修改写入磁盘之前允许存储访问协议目标对修改请求作出回应。请求通过WAFL被写入日志,然后文件系统的修改操作被保存在易失性内存中。在易失性内存累积保存了多个修改操作的时候,WAFL就会将结果收集起来提交到一个被NetApp称之“一致性点”中(实际是一个快照),并将一致性点写入到与WAFL文件系统相连接的RAID系统中。

NetApp NFS高级技术总监Michael Eisler表示:“如果在硬件或者软件发生故障之前一致性点没有被写入到磁盘中,那么一旦重启Data ONTAP,NVRAM日志内容就会重新提交给WAFL,然后一致性点被写入到磁盘中。NetApp的大多数竞争对手都拥有快照技术,但是NetApp利用自己的底层快照技术开发出了像文件系统层级的监控、备份集成、克隆、重复数据删除和数据保留等功能,在网络存储设备和FlexVol之间进行分配。”

FlexVol是一种能够与其他Flexible Volumes共享一个存储池的卷。这些卷能够按需扩大或者缩小——释放的空间被回收到存储池中进而被其他FlexVol采用。

文件系统的未来

当然,并不是所有人都需要高性能的。还有其他一些更为常见的文件系统协议,例如NFS和CIFS、以及运行在Solaris操作系统中的Sun开源ZFS文件系统,甚至还有Red Hat的全球文件系统(Global File System,GFS)。它为Linux平台提供了高性能和数据共享功能。

Panasas首席营销管Len Rosenthal表示:“基于NFS的解决方案或者SAN文件系统并不是针对拥有大量用户或者服务器节点、需要有对大型文件共享访问路径的环境设计的。普通的NAS系统对日常电子邮件或者其他文档的文件系统、以内容为导向的应用就已经足够了,因为需要通过低带宽的开放网络进行传输,因此一般这些类型的文件容量都很小。”

他认为,ZFS是一个很好的本地文件系统,但是它并不具备任何并行数据传输功能,而且也不是针对扩展应用设计的。他认为Linux和Unix厂商推出的本地文件系统对DAS系统来说有很重要的价值。同时,NFS仍将是网络文件访问的一项标准,不过在未来几年内将逐渐过渡到pNFS。

Rosenthal表示:“未来NFS 4.1版本将支持pNFS,它的发展前景是光明的,因为pNFS是近20年来NFS首次在性能上的重大升级。那些带有GPFS、EMC MPFSi以及Lustre等专有客户软件的文件系统的发展前景尚不明朗,因为pNFS最终将有可能消除对这些文件系统的需求。”

那么,pNFS将可能成为高性能、共享文件存储的未来。像Panasas、Sun、NetApp、IBM以及EMC等厂商都积极致力于pNFS标准(NFSv4.1)的研究。Panasas甚至曾公开表示,他们将通过软件修正将自己的DirectFLOW协议迁移到pNFS中。

pNFS能够实现并行数据传输、针对NFS创建一个标准用户访问协议,未来所有主要的Linux发行版本以及Solaris、AIX等专有Unix版本都将提供对pNFS的支持。

StorageIO Group创始人兼高级分析师Greg Schulz也表示认同这个看法。他说:“对于日常的通用文件和企业业务环境中的数据共享,工作效率仍将保持在NFS V3或者更高的水平。如果企业环境是以Sun为中心的,那么在他们迁移到Linux环境中的时候就会更加关注ZFS。不过其它企业将考量pNFS是否具有针对他们环境的可应用性。”

不过Sun预计还不会在短期内推出他们的Lustre文件系统。现在Sun正在为一款结合了常用文件系统和高性能文件系统的产品做准备。

Bojanic表示:“没有哪一项技术能够解决所有企业难题,但是通过将这些技术整合起来,我们就可以解决其中大部分的难题。Lustre和pNFS不会取代其他所有这些文件系统和协议,但是将凭借其出色的可扩展性提供具有超高扩展能力的系统。”

这就解释了为什么Sun正在致力于对Lustre的完善。

Bojanic表示:“目前我们正投身于研究基于ZFS、运行在Linux和Solaris中的Lustre系统,它将提供更高的可扩展性和数据完整性保护功能。未来Sun的Open Storage产品将采用Lustre,为包括pNFS和Windows/CIFS在内的不同专有协议提供卓越的可扩展性。”【WatchStor独家译稿,未经许可禁止转载。合作伙伴请注明原作者及出处为WatchStor.com】

 
作者:FOXL
来源:51CTO
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值