IBM将在Hadoop上树立全新存储架构规划

IBM科学家声称，该规划在将万亿字节的数据变成可用的信息方面，速度比当时技能能够进步两倍。因而，该规划十分适用于云核算和数据密集型的作业负载使用场合，比方数字媒体、数据发掘、金融剖析等。
​
这种新的架构名为通用并行文件体系无同享群集 （GPFS-SNC，General Parallel File System-Shared Nothing Cluster），旨在经过高档集群技能、动态文件体系办理和高档数据仿制（Data Replication）技能来进步可用性和速度。

存储剖析发明者和IBM的研讨主管Prasenjit Sarkar表明，一个具有40个节点的文件体系将有12GB/sec吞吐量，并与400个节点的体系能够到达120GB/sec吞吐量。他说：“这是十分契合本钱效益的带宽。你得到1MB/sec美元。如果你想仿制，存储区域网络，它会十分昂贵。”

“在咱们的集群示例中，您能够在Hadoop架构上树立作为群集运转DB2或Oracle数据库”Sarkar说。 “这让咱们能够有一个通用的文件体系，广泛的用户可使用。”

据了解，新的架构是让使用程序，撑持高功用剖析，数据仓库使用程序和云核算的目的。他描绘为每个节点或标准的x86服务器有时机取得自个的元数据，缓存，数据存储和办理工具的GPFS的“不同享”的集群技能，一起也有经过千兆位接入在同一时间集群中所有其他节点以太网端口。

他说：“咱们所做的，是咱们每一个分布式文件体系方面相对于google文件体系，它有一个域节点，元数据，分配，锁办理，令牌办理，即便来自集群服务器的机架，咱们依然能够持续作业。”

所谓无同享，可用性，功用和拓展新的水平，可完成与集群文件体系。中的每个GPFS-SNC的架构节点也自给自足。任务被区分这些独立的核算机之间。

GPFS也撑持POSIX，使一个使用广泛的传统上运转的文件体系之上，答应读取和写入履行。Prasenjit Sarkar说：“你能够翻开一个文件，你能够读取一个文件，那么你就能够追加到该文件并掩盖任何有些。与google的Hadoop分布式文件体系，你能够不追加到一个文件，你不能掩盖的任何章节，所以你重十分有限你能做啥。”

GPFS的-民委还撑持公司数据存储功用，例如快照，备份整个范围内，归档，信息生命周期办理，数据缓存，广域网数据仿制和办理方针。该体系结构有一个单一的全球域称号空间，使虚拟机办理程序的节点之间移动。