重复数据删除与云存储

上周（2011年1月25-27日）我参加了在硅谷中心Palo Alto城举办的一个存储业界技术交流会。会议组织者对可信计算可应用于加强云存储安全的潜力很感兴趣，特邀我参会提供和与会者们交流技术的机会，还专门安排了一个由分析师们参加的小会TCG Meets the Analysts，向他们介绍这一存储及数据管理的新方向。

 

这次会议云集了不少存储业界的顶级大家，最有名的也许是Ed Walsh，他在Kick-off Keynote上介绍了他成功创立并出售了三家存储界的重要公司：Storwize，最近出售给了IBM；Virtual Iron，出售给了Oracle；以及Avamar，出售给了EMC。Walsh的专长是重复数据删除，尤其是在线实时型的（in-line, real-time model）。Walsh的Keynote包含了技术创新、团队创建、融资、销售、运营等等诸多方面的经验（对我来说都是不可多得的秘诀）。

 

我注意到参会的许多技术专家及创新公司都在做重复数据删除技术及解决方案。几年前，重复数据删除还被认为是存储领域的一个边缘技术。但在2009年，以EMC收购Data Domain为标志拉开了重复数据删除进入存储领域主流技术的大幕。当时的解释是因为企业受经济不景气的影响而削减IT开支，重复数据删除因为能帮助企业大幅降低成本而大受欢迎。可是从上周会议上大家讨论与兴趣的焦点来看，重复数据删除技术目前仍然正处于一个方兴未艾的大发展阶段，哪怕当前经济状况已经明显好转（*）。据我理解，重复数据删除技术进入存储领域的主流技术具有独立于经济气候好坏上下的必然性。用户所产生的数据存在着内在的重复，这种内在的重复程度不仅正在变得越来越大，而且更重要的是，消除数据的重复，尤其是在线实时模型的（能够真正高效率省存储空间的）是一个高性能计算问题，用户通常不具有知识及资源去做这种类型的数据处理任务，完全应该由存储服务提供专家来处理。另外我们还要注意到，一般用户所关心的数据处理任务多与数据的使用语义相关，而重复数据删除（同样负载均衡，冗灾备份，checkpoint保护，数据不中断服务保护，等等）与数据的使用语义无关，这样的任务交付给数据中心去处理实属理所当然。或许我们可以这样说：重复数据删除技术成为存储领域的主流技术的主要原因是存储正在转变成为云服务。

 

重复数据删除需要对用户数据的明文，而不是密文，作处理。所以让数据中心处理重复数据删除就必须让数据中心获得用户数据的明文形式。如何既让数据中心高效处理用户数据，又防止数据中心有意或无意对用户数据造成隐私性破坏 — 可信云存储问题 — 必将会成为存储领域的另一个主流关心问题。这也是为什么会议组织者对可信计算可应用于加强云存储安全的潜力很感兴趣的原因吧。

 

（*）当前经济状况明显好转已经在硅谷显现：上周我在硅谷两次碰到大堵车了（当然无法和北京的相比！），据朋友说这是最近才久违的事。另外San Jose Mercury上周报道了Cisco已经开始大举购地扩建，以应对客户日益增长的需求。