编者按:存储信息,就是存储未来。在存储市场爆炸性增长的同时,用户更关心存储技术未来的发展趋向。我们选择了目前10项主流技术,向用户介绍存储的基本技术“框架”。
1直接连接存储技术(DAS)
由于Internet的普及与高速发展,网络服务器的规模因此变得越来越大。Internet对服务器本身及存储系统都提出了苛刻要求。新的存储体系和方案不断出现,服务器的存储技术也日益分化为两大类: 直接连接存储技术(DAS, Direct-Attached Storage)和存储网络技术。
服务器的直接连接存储技术一直和SCSI技术的发展紧密关联,一些厂商也推出了专有技术,如IBM的SSA(Serial Storage Architecture)技术等,由于兼容性和升级能力不尽如人意,在市场上的影响都远不及SCSI技术广泛。Ultra 3 SCSI技术和RAID(Redundant Array of Inexpensive Disks)技术是当前直接连接存储的主流技术。
由于SCSI技术兼容性好,市场需求旺盛,因此新的SCSI技术几年来层出不穷。从最原始的5MB/s传输速度的SCSI-1,一直发展到LVD接口的160MB/s传输速度的Ultra 160 SCSI,另外,320MB/s传输速度的Ultra 320 SCSI接口也将在2001年出现。
RAID技术目前也从原来主要支持价格较贵的SCSI、SSA、FC(Fiber Channel)等设备扩展到支持廉价的UDMA(IDE)设备。RAID逐渐褪去“贵族”的外衣,“RAID Everywhere”也成为一些致力于存储的专业厂商的发展目标。据IDC的预测,未来几年中,全球服务器的平均增长率为19%,而RAID设备的平均增长率为38%。
2存储网络技术
存储网络技术是近年来出现并高速发展的最新技术,具有很高的安全性,且动态扩展能力极强。但由于应用主要集中在企业级,价格也始终居高不下,因而很少进入中低端服务器用户的视野。由于缺乏统一的业界标准,因此存储网络技术还不统一,各厂商都以解决方案的形式来提供产品,如SAN(Storage Area Network)。但许多基于工业标准的网络存储方案已经开始得到应用,较有代表性的有光纤通道技术(Fibre Channel)、分布式网络存储(EtherStorage)和Infiniband等。目前基于Fibre Channel的应用方案最多,成熟的产品也很多;分布式网络存储则是基于标准以太网的低价存储网络解决方案,利用现有以太网和SCSI技术就可以构建;而Infiniband是Intel推动的IA-64架构的核心存储技术,在未来几年中,将会有较大发展。几种存储技术的比较如表1所示。
3SCSI技术
从SCSI技术的发展历史来看,SCSI协议的V1版本仅规定了5MB/s传输速度的SCSI-1的总线类型、接口定义、电缆规格等技术标准。随着技术的发展,SCSI协议的V2版本作了较大修订,遵循SCSI-2协议的16位数据带宽、高主频的SCSI存储设备陆续出现并成为市场的主流产品,也使得SCSI技术牢牢地占据了存储市场。
SCSI-3协议则增加了能满足特殊设备协议所需要的命令集,使得SCSI协议既适应传统的并行传输设备,又能适应最新出现的一些串行设备的通信需要,如光纤通道协议(FCP)、串行存储协议(SSP)、串行总线协议等。几种协议的性能如表2所示。
这里需要指出的是最大传输速度并不代表设备正常工作时所能达到的平均访问速度,也不意味着不同SCSI工作模式之间的访问速度存在着必然的“倍数”关系。SCSI控制器的实际访问速度与SCSI硬盘型号、技术参数,以及传输电缆长度、抗干扰能力等因素关系密切。提高SCSI总线效率必须关注SCSI设备端的配置和传输线缆的规范及质量。
4RAID技术
RAID是一项非常成熟的技术,但由于其价格比较昂贵,配置也不方便,缺少较为专业的技术人员,因此其应用并不十分普及。据统计,全世界75%的服务器系统目前没有配置RAID。由于服务器存储需求对数据安全性、扩展性等方面的要求越来越高,RAID市场的开发潜力巨大。
RAID技术是一种工业标准,各厂商对RAID级别的定义也不尽相同。目前对RAID级别的定义可以获得业界广泛认同的只有4种,即RAID 0、RAID 1、RAID 0+1和RAID 5。
RAID 0是无数据冗余的存储空间条带化,具有低成本、极高读写性能、高存储空间利用率等特性,适用于Video/Audio信号存储、临时文件的转储等对速度要求极其严格的特殊应用。但由于没有数据冗余,其安全性大大降低,因此,在RAID 0中配置4块以上的硬盘,对于一般应用来说是不明智的。
RAID 1是两块硬盘数据完全镜像,安全性好,技术简单,管理方便,读写性能均好,但无法扩展(单块硬盘容量),数据空间浪费大。严格意义上说,它不应称之为“阵列”。
RAID 0+1综合了RAID 0和RAID 1的特点,独立磁盘配置成RAID 0,两套完整的RAID 0互相镜像。它的读写性能出色,安全性高,但构建阵列的成本投入大,存储空间利用率低,不能称之为经济高效的方案。
RAID 5可以说是目前应用最广泛的RAID技术。各块独立硬盘进行条带化分割,相同的条带区进行奇偶校验(异或运算),校验数据平均分布在每块硬盘上。RAID 5具有数据安全、读写速度快、空间利用率高等优点,应用非常广泛,但不足之处是一块硬盘出现故障以后,整个系统的性能大大降低。
各厂商还在不断推出各种RAID级别和标准。其中用IDE硬盘构建RAID的技术是新出现的一个技术方向,对市场影响也较大,其突出优点就是构建RAID阵列非常廉价。目前IDE RAID可以支持RAID 0、RAID 1和RAID 0+1三个级别,最多支持4块IDE硬盘。由于受IDE设备扩展性的限制,同时,IDE设备也缺乏热可替换技术的支持,因此IDE RAID的应用还不多。
5SAN技术
1991年,IBM公司在S/390服务器中推出了ESCON(Enterprise System Connection)技术,它是基于光纤介质,最大传输速率达17MB/s的服务器访问存储器的一种连接方式。在此基础上,进一步推出了功能更强的ESCON Director(一种FC Switch),构建了一套最原始的SAN系统。
SAN是存储技术进入网络时代的产物,对SAN的中文翻译,最好的名字是存储区域网。它一方面能为网络上的应用系统提供丰富、快速、简便的存储资源;另一方面又能对网上的存储资源实施集中统一的管理,成为当今理想的存储管理和应用模式。未来SAN的发展趋势将是开放、智能与集成。谁具有这三个核心竞争力,谁就会赢得这个潜力巨大的市场。
Internet的飞速发展,尤其是诸如ISP、ASP及电子商务等大规模存储需求的不断涌现,为SAN的发展创造了良好的外部条件,成熟的Internet / Intranet构建技术本身又为SAN的发展提供了良好的技术支持。基于FC的Hub、Switch、Bridge、Router、Gateway等产品陆续推出,为SAN不断向前发展推波助澜。
这里需要指出的是,Fibre Channel中的Fibre并不特指“光纤(Fiber)”,广义来说,它是一种传输协议。目前常用的FC存储多采用铜线传输,只有远距离传输时,才必须使用真正的光纤。铜线最长可支持30米的传输距离;多模光纤(MMF)可以支持到2公里的传输距离;而单模光纤(SMF)则可以支持长达10公里的传输距离。SAN让多主机访问存储器和主机间互相访问一样方便,典型SAN结构如右图所示。
6NAS技术
在世界范围内,NAS是发展速度最快的数据存储设备。 在典型的网络架构中,数据成为了网络的中心,NAS设备是直接连接在网络上的。表面上看,NAS设备是单独作为一个文件服务器存在的,网络中所有设备的数据全部存储在NAS设备中,简化了网络架构。同时NAS的其他特性表现在以下几个方面:
将NAS设备连接到网络上非常方便。NAS设备提供RJ-45接口和单独的IP地址,可以将其直接挂接在主干网的交换机或其他局域网的Hub上,通过简单的设置(如设置机器的IP地址等)就可以在网络即插即用地使用NAS设备,而且进行网络数据在线扩容时也无需停顿,从而保证数据流畅存储。与传统的服务器或DAS存储设备相比,NAS拥有更大的存储空间和相对低廉的价格,这也表明NAS设备具有超强容量扩展能力,为企业未来的发展打下了坚实的基础。
由于NAS设备的安装、调试、使用和管理非常简单,因此对于选用NAS作为网络数据存储设备的企业用户来说,昂贵的设备管理与维护费用将不复存在。另外,NAS设备在网络中占用一个IP地址,本身就相当于一台高性能的文件服务器,用户选用NAS设备后只需购买相应的应用服务器,从而节省大量的设备购置成本。
同时,NAS对于已建立的网络的用户来说也不存在任何威胁,NAS设备完全融合在已建立起来的网络中,它可以作为独立的数据存储设备搭配其他的各种服务器,既保护了用户的原有投资,又将整个网络的性能提高到一个新的层次。
NAS设备可以完全实现文件在不同操作系统平台下的共享,由于用户通过不同的网络协议可进入相同的文档,因此无需改造现有网络NAS设备就可无缝混合应用在多种操作系统平台下,从而大大节省了成本。
NAS设备采用集中式存储结构,摒弃了DAS的分散存储方式,网络管理员可以方便地管理数据和维护设备,同时NAS设备允许用户在网络上存取数据,有效改善了网络的性能。
NAS设备内置优化的独立存储操作系统,可以有效、紧密地释放系统总线资源,全力支持I/O存储,同时NAS设备一般集成本地的备份软件,可以不经过服务器将NAS设备中的重要数据进行本地备份,而且NAS设备提供硬盘RAID、冗余的电源和风扇以及冗余的控制器,可以满足7×24小时的稳定应用。
7IP存储
IP存储即iSCSI,这种技术在IP栈的一个层面上传送本机SCSI。iSCSI使企业网络可以在接入WAN时能够在任何位置传输、存储SCSI命令及数据,如在Internet上传输时,则可以在接入Internet的位置传输、存储SCSI命令和数据。它还允许利用普通的Ethernet基础设施建立较小的本地化SAN。因此, iSCSI使SAN在更广泛的主流市场上部署成为可能。
在支持iSCSI的系统中,用户或软件应用为在一台SCSI 存储设备上保存或索取数据而发出命令; 操作系统对这个请求进行处理并将这个请求转换为一条或多条SCSI命令,再传送给软件或接口卡。 命令和数据被封装起来,形成一条由iSCSI包头开头的字节串,封装起来的数据被传送到TCP/IP层后, 由TCP/IP将封装起来的数据分为适于网络传输的包。如果需要,则封装的SCSI命令还可以先进行加密,然后在不安全的网络上传送。
数据包可以在网络或Internet上传送。在接收存储控制器上,数据包重新被组合。然后,存储控制器利用iSCSI报头将SCSI控制命令和数据发送到相应的磁盘驱动器上, 驱动器再执行初始计算机或应用所请求的功能。如果发送的是数据请求,那么将数据从磁盘驱动器上取出,然后再封装并发送给发出请求的计算机。全部过程对于用户来说是透明的。
尽管SCSI命令和数据准备可以通过使用标准TCP/IP和现成的网络接口卡的软件来完成,但最有可能出现的涉及到执行这种功能的专用iSCSI接口卡。在利用软件完成封装、 解封以及TCP/IP的情况下,在主机处理器上执行这些功能需要很多的CPU 周期来处理数据和SCSI命令。将这些功能交给专用硬件处理,则可以将对系统性能的影响减少到最小程度。
iSCSI标准的草案和早期的iSCSI产品预计将在2001年推出。参与IETF标准开发的各家公司在2000年12月举行会议,以加快制定利用IP网络在计算机与存储设备之间传送数据和SCSI命令的标准的进程。IP网络的普及性将使数据可以通过LAN、WAN或通过Intenet利用新型IP 存储协议传输。
8磁带技术
● DAT(Digital Audio Tape)技术
DAT技术(数码音频磁带技术)最初是由HP与Sony共同开发的。这种技术以螺旋扫描记录(Helical Scan Recording)为基础,将数据转化为数字后再存储下来。早期的DAT技术主要应用于声音的记录。随着技术的不断完善,DAT又被应用在数据存储领域里。DAT技术主要应用于用户系统或局域网,它以非常合理的价位提供高质量的数据保护。
在信息存储领域里,DAT一直是广泛应用的技术之一,而且种种迹象表明,DAT的优势还将继续保持。这种技术之所以大受欢迎,还由于它具有很高的性能价格比。首先,在性能方面,这种技术生产出的磁带机平均无故障工作时间长达20万小时(新产品已达到30万小时);在可靠性方面,它所具有的即写即读功能,能在数据被写入之后马上进行检测,不仅确保了数据的可靠性,而且还节省了大量时间。
第二,磁带机种类繁多,能够满足绝大部分网络系统备份的需要。对于网络系统,DAT产品由于已被证明的高兼容性、高可靠性与介质的低成本而被最广泛的接受并使用。
第三,硬件数据压缩功能大大加快了备份速度,而且压缩后的数据安全性更高。
第四,由于该技术在全世界都被广泛应用,因此在全世界都可以得到该技术产品的持续供货与良好的售后服务。
● DLT(Digital Linear Tape)技术
DLT(数码线型磁带技术)最早于1985年由DEC公司开发,主要应用于VAX系统。尽管这种技术性能出众,但是由于价格昂贵,因而在1993年销售量曾降到最低点。后来随着高档服务器的容量超过了其他磁带机技术所能提供的容量(如8mm),DLT又重新成为信息存储领域里的热门技术。
DLT技术采用单轴1/2英寸磁带仓,以纵向曲线性记录法为基础。DLT产品定位于中、高端的服务器市场和磁带库应用系统。目前DLT驱动器的容量为10GB~35GB,数据传送速度为1.25MB/s~5MB/s,如果硬件采用数据压缩,则可以使容量与速度增加一倍。但DLT技术也存在相应的劣势,如驱动器与介质造价昂贵;主系统与网络之间通道狭窄,限制了传送速度,增加了操作时间;非标准的外型设计使内部设置受到很大限制;单一的产品提供使渠道受限。总的说来,DLT仍被认为是未来型产品,发展很快,但目前只会被少数需要高性能备份的系统用户所使用。
● LTO(Linear Tape Open)技术
LTO即线性磁带开放协议,是由HP、IBM、Seagate三家厂商在1997年11月联合制定的。它结合了线性多通道、双向磁带格式的优点,基于服务系统、硬件数据压缩、优化的磁道面和高效率纠错技术,来提高磁带的性能。
LTO技术是一种“开放格式”的技术,上述三家厂商将生产许可开放给存储介质和磁带机生产商,使不同厂商的产品能更好地兼容,这意味着用户将拥有多种产品和介质。开放性还带来更多的发明创新,使产品的价格下降,用户受益。
目前,LTO具有两种存储格式:高速开放磁带格式ultrium和快速访问开放磁带格式accelis,定制两种格式是因为并不是所有的用户都要求相同的特性和功能性。一些应用程序强调重点在“读”,要求快速的数据访问速度; 而另一些应用程序则重点在于“写”,要求最高的磁带存储能力。
ultrium磁带格式除了具有高可靠性的LTO技术外,还具有大容量的特点。它能够单独操作,也可以在自动操作环境中使用。
accelis磁带格式主要侧重于快速数据存储。它在磁盘中装载了双轨磁带存储器以减少存取时间。accelis格式适用于自动操作环境,可处理广泛的在线数据和恢复应用。
这两种格式都使用同样的头、介质磁道面、通道和服务技术,并共享许多普通的代码部分。因为目前存储用户更偏重于对存储容量的需求,所以两种格式相比较而言,ultrium格式是当今存储业界更值得关注的技术。
9光存储技术
随着光学技术、激光技术、微电子技术、材料科学、细微加工技术、计算机与自动控制技术的发展,光存储技术在记录密度、容量、数据传输率、寻址时间等关键技术上将有巨大的发展潜力。在本世纪初,光盘存储将在功能多样化、操作智能化方面有显著的进展。随着光量子数据存储技术、三维体存储技术、近场光学技术、光学集成技术的发展,光存储技术必将在本世纪初成为信息产业中的支柱技术之一。未来主要有三个发展方向:
● 高密、高效、高速的母盘刻录技术。采用短波激光和大数值孔径的物镜,可使道间距减小,比特长度减小,从而提高光盘的刻录密度;采用脉宽调制,可显著提高记录效率。
● DVD单面盘的精密注塑及双盘的封装技术。将DVD母盘、模板生产线挑选出的合格模板,用精密注塑机注塑成形,得到的DVD半成品经适当冷却,送入溅射室,根据不同要求,分别溅射金或铅,然后进行粘合剂旋涂、封装、紫外光固化、在线检测、商标印刷等,制成DVD只读光盘。
● 光盘记录介质。 DVD-RAM光盘是否稳定可靠,记录介质是关键,而材料设计能否满足高速存储的要求,又取决于记录介质能否在两个稳定态之间实现快速可逆相变。国内外传统相变介质材料设计都是基于激光的热效应,信息写入用液相快淬实现;信息的擦除用晶核形成、晶粒长大来完成。由于热效应是能量积累的过程,写入一个比特需较长时间(约几十纳秒),而且介质在经历几十万次的写/擦循环后会出现信噪比下降的热疲劳。
当记录激光采用短波长时,激光的热效应将逐渐减弱,而激光光子的激发作用将突出,所以新的材料设计基于激光的光效应。对半导体类型介质而言,写入一个比特只要几十皮秒,使记录速率获得数量级的提高。这种基于非线性光学双稳态变化效应的记录介质,被称为光双稳态记录介质,它可以是无机材料,也可以是有机材料或无机有机复合材料。
10面向数据库的存储技术
作为一个数据库管理员,必须确保企业的数据库是可用的、可靠的和易于扩展的。满足这些要求的理想的存储方案也应当是合算的、易于实现和管理的,同时也能改进整个系统的性能。NetApp Filers就是这样一个存储方案。
上海北方网络科技有限公司主要经营以NetApp公司的存储产品系列为基础架构的海量存储系统解决方案,并提供技术及业务咨询和实施服务。NetApp Filers是经Oracle、Sybase、DB2等大型数据库厂商认证,已被《财富》1000家大公司广泛用来增强和简化数据存储和读取性能。NetApp Filers包括符合标准的硬件和专利软件,能够在现存的运行Unix和Windows NT系统的异构IT系统平台上协同工作,集中进行数据读取。它具有在不停机的情况下扩展数据存储的能力。