50万美元的1PB存储机柜是个什么样子

关键字：OpenSolaris ZFS raid 存储系统 以太网

　　现在我们最熟悉的存储单位当然是MB、GB，以及正在普及的TB，那么再往上一个数量级的PB又是什么样子呢？一家名叫Aberdeen的公司近日推出了一套最大容量可达1PB的商业存储系统“Petarack”(名字不错)，而价格“只要”49.5万美元。

　　该系统包含八个JBOD(磁盘簇)，而每个JBOD内有45块近线nearline SAS硬盘，单个容量3TB，因此总共有360块硬盘、1080TB容量。

　　不仅如此，系统内还有空间放置第九个JBOD和两个HBA卡，容量能因此再增加135TB而达到1215TB，不过默认情况下空闲的PCI-E插槽会留给10Gb以太网卡或者光纤HBA。

　　大多数硬件RAID控制器都自带处理器，用于存储任务的加速，而多数现代6Gbp RoC都是双核心配置，频率最高大约1.2GHz。虽然它们都宣称可以通过扩展器支持最多256个设备，但是一旦连接上十几个，就会成为性能瓶颈，此外缓存容量也有限，都在256MB-4GB之间，这是大型存储引用必须解决的问题。

　　Petatrack在每个机柜的两个存储服务器内都使用了两颗六核心的Intel Xeon X5670 2.93GHz，默认各自配备48GB DDR3内存，最高可以扩展到192GB。之所以用双路服务器是出于冗余目的，一个失败了另一个会自动介入，此外还能提供更多PCI-E扩展插槽位。

　　每个JBOD都包含两个扩展器，各自连接一个存储服务器作为冗余。SAS硬盘的两个端口也是如此，同样是为了冗余。不管哪个服务器或者HBA掉线了，总能有其它数据通道顶上。

　　震动也是这种大规模多硬盘系统必须考虑的问题，不然就会遭遇性能下滑(Aberdeen声称会有50％)、数据错误、硬盘损坏、寿命缩短等麻烦，3TB nearline SAS硬盘就是目前的最佳选择。如果需要更高的性能，15000RPM SAS硬盘和SSD固态硬盘也都是支持的，甚至能够多种类型共存。

　　网络连接方面，默认是通过两个10Gb/1Gb以太网控制器来支持iSCSI，而如果你有光纤网络，也可以在不破坏授权的情况下进行使用。

　　每每说起这种大家伙，肯定会有很多人拿耗电量说事儿。Aberdeen给出的数据是满容量运行大约会消耗7000W。该系统使用了两个40A移动式插座，每个分出两个20A电路，由这四路分担供电。

软件上使用基于OpenSolaris内核的GNU/Debian用户界面来创建RAID阵列，而可选的RAID方案有：Stripe、Mirror、RAID-Z1(类似RAID 5)、RAID-Z2(类似RAID 6)、RAID-Z3，其中最理想的是RAID-Z2。

　　文件系统选择了128-bit ZFS，其企业可靠性也是久经考验的。

　　跨平台共享从来都是老大难。可以在Linux系统下创建CIFS，Windows、Mac系统都能访问，不过Linux管理员也通常喜欢NFS共享，并使用访问控制清单来管理用户授权。

　　VMware管理员也喜欢NFS共享。vSphere 4.1的区块级别存储限制是2TB分区，vSphere 5.0则扩大到了64TB，NFS共享就无此限制。

　　性能么，持续、随机读写都能超过500MB/s，持续读写也可以接近400MB/s，只有随机写入稍慢，150MB/s左右的样子。

　　IOPS吞吐性能同样不俗，持续读取接近14万，持续写入也有10万，随机读取超过了12万，随机写入则不到4万。