将节能进行到底:Facebook为冷存储寻求廉价闪存
每一天Facebook都要储存来自用户的3.5亿张图片,这些图片将添加到Facebook已有的2400亿张图片中。Facebook基础设施部门副总裁Jay Parikh曾做出承诺:只要Facebook存在一天这些照片都会得以保存,迄今为止Facebook做的很好。但是现在他正在寻求帮助,他想获得新一代的用于存储这些人们不会经常关注照片的闪存。
从事情进展的情况上来看,这个目的好像还是容易实现的。作为Facebook基础设施部门副总裁,Parikh需要同时监视这个网络最人气社交网站的软硬件设计;而在最近几个月,他和他的同事已经找到了可以说服硬件公司去开发适合Facebook(以及其它巨大在线操作)特殊需求产品的理由。而就在1月16日,Intel、AMD以及另外两个芯片制造商给予Facebook重量级支持,帮助制造一种新型的服务器可以在任何需要的时候添加和移除处理器。
在2011年春季的时候,Facebook建立了Open Compute Project,希望通过公开的合作重做硬件产业;尽管在16号该公司炫耀了该项目的最新成果,Parikh的需求显然更高。
现在Facebook将老旧图片储存在良好的旧式机械硬盘上。虽然暂时运行良好,但是Facebook需要处理数千亿的图片,其中甚至有可以追溯到3至4年前对现在已经没什么意义的照片。这些老图片现已不会被经常访问,如果还把它们一直储存在磁盘中,每天都要消耗巨量的电力。
通常情况下公司会把这些旧数据储存到光盘上,但是显然不适合Facebook。即使再旧的图片也必须存储在你立刻就可以获得的地方。因为Facebook不可以说:“朋友,你已经不想再看你5年前Halloween的图片了?我们将把它刻录成光盘,然后在一星期内寄给你。”Parikh在星期16日的Open Compute Summit上说道:“这完全不可能!”
Parikh和他们公司可以将这些旧图片存储到那些功耗比硬盘低很多的闪存设备上,但是这些设备的价格实在太高了。现今的闪存设备更倾向于储存经常访问数据,但是对于Facebook需要存储老旧图片这种“冷存储”来说无疑是太贵了。
所以Facebook更需要有公司去制造更便宜的闪存。现今的闪存都是基于获得更多的I/O而制造的,并且寿命会随着频繁的读写而缩短;Facebook需要的是专为不频繁访问设计的版本。
在16号Parikh说:“我们需要一些写入性能比较高的产品,当然每GB的价格越低越好。”这会减少公司的电力消耗,而在编写程序时还会给工程师更多的灵活性 —— 工程师可以轻松的对软件做任何优化。当你在机械式硬盘上读取和写入数据时,如果你想获得速度提升 —— 限制是非常严格的。
在Parikh的演讲中,他把存储比作是汽车。他说他的磁盘系统选择只有小型货车和小型汽车两种,而他想要的是第三种 —— 像Prius一样的产品。“我们期待的是一整条连续的选择,而现在距这个期望还有很大一段距离:磁盘在一端,闪存在另一端,中间是机械式硬盘。”
似乎有些夸张,但是以Facebook的规模及影响力足够提出这个要求。通过Facebook硬件设计和供应链专家了解到,Facebook已于犹他州闪存机构Funsion-io合作很长一段时间;致力于公司的最新设计,包括了在Open Compute Summit公布的新型3.2TB闪存,而Funsion-io的CEO David Flynn显然很看重与Facebook的合作关系。
Fusion-io的高速闪存卡已经被用于Facebook数据库软件,存储了大部分用户文件;但是有一天Facebook同样会把闪存带入冷存储设备。而在这之前,Facebook必须致力新型闪存的研究。
原文链接:Facebook Wants New Breed of Flash Memory for Storing Old Pics