存储与计算的分离

存储与计算的分离 马一力　傅湘林　韩晓明　许鲁 1   存储应用的新特性 　　IT技术的发展经历过三次浪潮：第一次浪潮以计算技术为中心，以处理器的发展为核心动力，产生了计算机工业，推动了计算机的迅速普及和应用；第二次浪潮以传输技术为中心，促进了计算机网络的发展和普及。这两次浪潮大大加速了信息数字化进程，使得越来越多的人类信息活动转变为数字形式，从而导致数字化信息爆炸性增长，进而引发IT技术的第三次发展浪潮——存储技术浪潮。在新的技术浪潮中，数据存储的应用呈现出以下新的特点： 1) 数据成为最宝贵的财富。数据丢失对于企业来讲，损失将是无法估量的，甚至是毁灭性的，这要求数据存储系统具有卓越的系统可靠性。 2) 数据总量呈爆炸性的增长。人们在信息活动中不断地产生数字化信息，各种新型应用也层出不穷，如流式多媒体、数字电视、IDC（Internet Data Center）、ASP(Application Service Providers)、ERP(Enterprise Resource Planning)、数字影像、事务处理、电子商务、数据仓库与挖掘等，因此造成数据总量呈几何级数增长。计算机网络技术的进步，特别是互联网及Web应用的推广，不仅大大增强了人类的信息生产能力，而且使得信息的服务更为全球化。近年来，人类生产的信息量超过了网络时代以前人类积累的所有信息的总和，而且信息生产的速度依然在持续上升。据UC Berkley 2001年公布的数据显示，未来3年内所产生的数据将超过过去4万年中产生数据的总和，而且93％的新生成的信息以数字形式存在。信息技术的飞速发展推动了对信息存储的巨大需求。这要求现代存储系统应该具备高度的可扩展性，并且还要求这种扩展不应该中断正在进行的业务，实现动态可扩展。 3) I/O成为新的性能瓶颈。早期计算机仅用于计算，CPU的计算能力是计算机技术发展的瓶颈；后来在网络应用中，计算机通讯成为占时间最多的事件，网络带宽成为新的技术瓶颈；目前，计算机的主要应用模式已经转化成数据的存储和访问。由于受机械部件的限制，磁盘数据访问时间平均每年只能提高7~10%，数据传输率也只能以每年提高20%的速度发展，而同时现代微处理器和内存系统正以平均每年增长50~100％的速度发展，处理机和磁盘之间的性能差距已经越来越明显。根据Amdahl定理 ，计算机系统性能的提高要受限于系统中最慢的部件。因此，数据存储系统已经成为计算机系统新的性能瓶颈，即所谓的I/O瓶颈。传统存储结构难以解决这一问题，采用新型存储结构，大幅度提高存储系统性能的需求越来越迫切。 4) 全天候服务成为大势所趋。在电子商务和大部分网络服务应用中，365×24小时的全天候服务已是大势所趋，这要求现代数据存储系统具备优异的高可用性。 5) 存储管理和维护要求集中化、自动化、智能化。以前的存储管理和维护大部分工作由人工完成。由于存储系统越来越复杂，对管理维护人员的素质要求也越来越高，因管理不善而造成数据丢失的可能性大大增加。这就要求现代存储系统具有易管理性，最好是具有智能的自动管理和维护功能。 6) 要求实现多平台的互操作和数据共享。由于历史原因，存在着多种信息平台。这就要求存储系统实现多平台的互操作性和数据共享，从而具有高度的系统开放性。 7) 存储系统在中高端计算机系统价值中所占比例不断升高。 如图1所示，在IT预算中存储所占的比例大幅度的逐年增长，目前已经超过75％。   信息来源:  Dataquest from CIO Estimates through 2002 　　对于存储系统需求的变化可以从近年来存储市场的发展略见一斑。在2001年，尽管全球性的IT业大萧条气氛弥漫整个IT领域，但全球整个信息存储市场规模仍比上一年增长了14.3%，达到364.7亿美元。2002年总体上虽有所放缓，但仍保持了近12%的增长率。根据IDC的预测，到2005年，全球存储市场规模可达到580.343亿美元。从2000年到2005年6年之中，存储系统的容量平均年复合增长率达到80%，销售平均年复合增长率达到12%。 正是对于存储系统的功能需求和容量需求的不断增长，使得传统的存储方式已经无法满足用户  （Amdahl's 定理：. 在计算机编程的并行处理程序中，少数必需顺序 执行的指令是影响性能的一个要素，即使增加新的处理器也不能改善 运行速度。）要。传统的存储系统采用的是DAS(distributed annotation system)存储方式。在DAS方式中，存储系统附属于服务器。由于受服务器总线技术的限制，DAS方式系统的可扩展性差。当客户连接数增多时，服务器将成为整个系统的性能瓶颈,这是因为：⑴ 主机的带宽限制：虽然计算机技术的发展使主机总线带宽大为增加，但是仍赶不上现代存储应用对带宽的要求。⑵ 主机的内存容量限制：由于主机的内存容量有限，当有连续的大量数据访问请求时，主机的内存容量将很快达到饱和，而不能处理剩下的数据传输请求。⑶ 文件系统的管理开销也会增加数据访问时间。CMU（卡内基梅隆大学）的研究表明，在大量客户端请求的时候，服务器的瓶颈效应甚至导致存储系统的资源利用率降到只有3％。 　　另外，由于数据存储在多个独立服务器上形成所谓的“信