随着技术的发展,大规模的并行计算的方式激发有关行业对高性能计算机的需求,作为后起之秀的Linux 集群系统,吸取了SP 大规模并行机的诸多优势,IBM的通用并行文件系统GPFS 等和Linux 集群系统的竭诚不仅能在并行运算方面的性能得到保障,增强了集群系统的可管理性,而且采用具有高可用性的IBM xSeries 服务器,可以大大降低成本。

  目标市场:

  金融行业、气象局、地质勘探、高校实验室、生物工程、科研探索等高性能计算领域。

  IBM GPFS并行文件系统解决方案构成

  高性能计算机的架构主要以集群为主,整个高性能计算系统在硬件基础架构上包含计算资源、网络资源和存储资源三大部分。在目前主流的采用Linux 并行集群架构的高性能计算系统中,计算资源分为计算节点和I/O 节点,计算节点负责运行计算任务,I/O 节点则负责数据的存储并响应计算节点的读写请求,不同计算资源节点之间通过高速网络进行通信和信息交换。

  在此次方案中,我们选用的IBM Linux 集群系统使用了基于Intel Xeon 处理器的刀片服务器节 点、成熟的集群管理软件、提供极高的持续带宽保证的存储服务器,集中了最好的IBM 高性能设备和技术。不仅能在并行运算方面的性能得到保障,而且增强了集群系统的可管理性和可维护性。采用具有高可用性的IBM xSeries 服务器,大大降低了总体成本。同时,数据量的增加,带来了针对数据的管理,共享,分布,保护等实际需求,市场要求存储厂商不断推出适合需求的解决方案和产 品。传统的服务器-客户机网络结构在性能、可管理性、连接性等方面都达到了极限,而SAN 是解决这些问题的理想方案。IBM DS3500存储平台作为IBM针对大规模并行计算领域有着高性能、高稳定性和易扩展、易管理等特性,十分满足高性能计算平台对于存储设备的要求。

  在计算节点的选择上,IBM 建议采用Blade Center +HS22 刀片, IBM BladeCenter 支持最新的Intel 和AMD 四核处理器,支持业界最快的高达4.0 GHz 的Power 6 处理器,以及专用于高性能计算的九核Cell 处理器。IBM HS22 是业界功能最强大的刀片,HS22 采用最新的Intel Nahelem处理器,在集成了IBM BladeCenter 传统的高可靠等优势的基础上,性能、功耗和虚拟化的功能都比上一代产品有了显著提升。

  IO 节点采用IBM 的X3850或者X3650,产品前后端高吞吐量以及灵活组合方式,能提供极高的持续带宽保证,非常适合做高性能计算环境下持续带宽要求极高的存储服务器,显著提高I/O 节点的处理能力:

  I/O 节点是提供存贮共享的计算机。为了使任务可以并行执行,每台执行任务的计算机必须能够访问同样的数据,本方案存贮节点通过集群文件系统(IBM GPFS)来确保数据访问的同步。

  I/O 节点和高性能存储直接相连,并通过自己的Fiber Channel I/O 通道将冗余磁盘阵列上的多个分区做成集群并行文件系统GPFS,并向计算节点提供数个唯一路径且全局共享的文件系统。本方案提供高速的文档读写服务给所有计算节点, 特别适合于有可能会产生大文档的高性能应用上。

  通常的IO节点机共计4套主机,每个主机为两块8Gb的高性能HBA卡,单IO节点连接到SAN网络交换机,每个节点配置的带宽为16Gb的带宽性能,本次测试配置4个IO节点,共计有8条8Gb 带宽联入SAN核心网络中,从IO节点联入核心网络总持续写入带宽为6.4GB/S的带宽。

  两台DS3500存储节点,每台配置8个8Gb FC接口联入SAN网络中,共计IO带宽为12.8GB/S. 每台DS3500存储节点配置为48块300G 15K RPM SAS及48块1TB NL 7.2K SAS,在每台DS3500上实现IO分级存储,将核心的频繁读写的IO的LUN划分在15K的高速SAS存储上,其它的分布在NL SAS上,IBM的GPFS支持HPC的分级IO功能。本次方案为双节点DS3500存储节点,每个节点连接3个扩展柜,一级存储容量为300G×96 SAS共计28TB容量,二级存储容量为1TB*96 NL SAS, 共计存储容量为96TB.

  针对DS3500,在全配置8个8Gb FC接口的情况下,每个DS3500盘阵可以提供4GB/S的硬盘持续带宽,两台DS3500共计可提供8Gb/S的持续带宽。

  在GPFS配置上,我们建议用户配置2MB的IO Block Size,针对大规模并发运算应采用较大的IO读写带宽,在我们提供的GPFS HPC运算方式中,保证用户为提供最大带宽,单个GPFS系统并发带宽可以通过16个8Gb FC端口平均分布在这24个Lun 上, GPFS系统对LUN使用率可以达到90%以上,在这样的配置下,2台双节点的存储节点带宽持续可以达到6GB以上。

  DS3500 存储节点的优势:

  DS3500 系列适合交易型的应用,如数据库和联机事务处理,以及吞吐量密集型应用,如高性能计算和流媒体应用。DS3500 系列的线性扩展能力所带来的性能提升,使其可以满足最苛刻的应用和发展需求。

  DS3500的性能已经达到其它厂家中端产品的计算性能,而DS3500是一款具有入门级产品价格的高性能盘阵,从单存储节点的性价比上,DS3500远远高出中端存储盘阵。

  DS3500 以高可靠性和高可用性为目标,提供部件冗余、自动故障路径切换和灵活的在线配置、重构和维护能力,确保您的数据全天候可用。DS3500 系列也可保护存储的数据的安全:

  – 使用DACstore 技术在每一个磁盘驱动器上存储配置信息的元数据

  – 坚实的吞吐量,6Gbps SAS及8Gbps FC接口使得DS3500非常适合那些单个存储系统必须处理大量数据的集群环境

  – 流媒体:大型I/O应用,例如全球转播,大量的媒体存储网络,内容创建,建模及发布都将从DS3500系列提供的额外带宽中受益。

  – 提供持续的高速缓存备份功能,确保在掉电情况下,高速缓存中的数据仍是安全的。

  GPFS解决方案优势:

  在HPC计算应用领域,GPFS以高安全性著称,随着系统节点数的扩充及容量的扩充,GPFS可以实现安全,高效的计算,及大规模的文件共享。

  先进的仲裁管理机制,确保系统最大程度的可用性,没有单一故障点, 管理服务器在manager资源池内实现自动故障切换

  支持多路径磁盘访问,一条路径访问失败,可以通过其它路径实现.

  支持对元数据和用户数据做replication,保证系统稳定可靠

  高性能,在高性能应用领域,FPFS公认是对文件计算以高性能主持,随着节点熟的增加,GPFS的性能可以线性的增加,满足了用户平滑升级的需求。

  文件存储采用条带化技术,单个文件跨节点和存储系统分布,提高并发访问性能

  智能预取机制,通过对文件访问模式的预测来进行预取,降低读写延迟

  分布式的Byte Range级锁管理,包括文件和目录两个级别,允许最大程度的并发访问

  分布式元数据服务器,避免元数据处理成为系统瓶颈

  支持客户端数据缓存,不同节点可以根据需要设置不同的缓存大小

  数据块的大小可自定义,16K, 64K, 256K, 512K, 1M,2M,4M

对分级存储的支持

  在众多的HPC并行文件系统软件中,一些软件是开源的,但随着设备IO及带宽要求的增多,不得不配置大量的硬盘,而且针对不同的数据不能按照应用自动的进行分级存储,而GPFS支持的分级存储功能,在充分满足用户在高性能计算的性能要求外,又充分节省了资源,提高了用户的ROI,保证了用户的投资。

  Package 1配置:6GB/S IO及存储节点 Solution

  Package 配置二:12GB/S HPC 计算能力IO及存储节点配置

更多精彩内容请关注:
IBM存储化官方微博
IBM存储化官方网站