计算与存储的融合

在采用稀疏分布式内存的超级计算机里，记忆与数据处理之间的差异消失了。记忆成为了感知的再现，与最初的认知行为没有什么区别。两者都是从一大堆互相连接的部件中涌现出来的模式。

                                                                                                         --《失控》

计算与存储的融合

摘要：

存储系统的本质，是以对空间的使用换取计算时间的缩短，网络的连接实现了空间与时间的转换。在经历过计算能力的大幅提升，网络能力的快速发展之后，存储能力成为了瓶颈。在研究更快、更高容量的存储介质，构建越来越庞大的存储集群的同时，利用计算能力、网络能力来弥补存储能力的不足也成为未来存储的一个发展方向。对于信息的长期保存，其关键是保证海量数据长期存储的低能耗，以及长期存放数据的可识别，对于数据访问的响应时间并不要求。为此本文认为，大规模数据的长期保存可以用时间开销的增加来换取空间开销的降低，向着“以程序运算为主，数据存储为辅”的方向发展。

1.    引言

冯诺依曼的计算机模型，程序+数据，给人们造成了程序与数据分隔的假象。后续的研究就沿着计算和存储两条路分别进行。一直以来人们普遍认为计算能力的不足是制约计算机应用的关键，大量的研究投入于对计算能力的提升，而忽略了对存储能力提升的研究，造成了计算与存储能力间的巨大差距。如下图所示【引自《深入解析计算机系统》】。

随着信息化的深入，人们越来越依赖计算机，也越来越积极的参与到网络生活中，需要被存储的数据呈现出爆炸性的增长，存储变的越来越重要了。人们的研究开始转向提供大容量、高性能的存储系统，以及高带宽的网络连接。在研究更快、更高容量的存储介质，构建越来越庞大的存储集群的同时，利用计算能力来弥补存储能力的不足也成为未来存储的一个发展方向。

本文将首先论述存储系统的一般分析方法，然后讨论存储的本质，以及计算与存储融合的足迹以及未来的发展方向。最后结合信息长期保存的典型存储应用，分析现在可用的解决方案，以及计算和存储融合下的长期信息保存。

2.    存储系统的分析方法

人们普遍将存储与计算分隔开进行研究、分析、以及产品的设计与开发，将存储定位为实现数据存放空间的管理。本节我们以实现空间管理功能为主的存储系统为对象，分析其基本原理，以及构建和分析一个存储系统的基本模式。

(1) 地址的映射

因每一种存储介质在容量，性能，价格上巨大的差异，形成分层的存储体系，如下图所示。从CPU高速缓存，到内存，再到硬盘，最后到离线的磁带、光盘，每一层存储相比前一层，容量提升、性能降低、成本也降低。

数据存放空间管理，首先是对不同物理存储介质进行编址。然后建立地址间的映射关系。地址间的映射有两方面的含义：一方面是建立不同层次存储介质间的地址映射（站在CPU计算的角度），另一方面是建立从文件、到逻辑卷、直到最终存储单元，比如扇区间的映射（站在用户的角度）。

数据访问，首先将站在用户的角度从文件到扇区获取数据的存储位置&#