现实是,企业各种重要数据分布在多个分散的、异构的平台和数据库中,并且信息数据量不
断产生,系统和硬件不断增长,信息技术环境变得越来越复杂,IT部门面临增长的复杂性挑战。
 
----预计,未来三年内产生的数据量,将超过人类自记录以来数千年的数据量总和。以电信行业为例,许多省市的一级电信客户已经在谈论TB级的应用数据库和上百TB的存储资源管理。今天的电信公司业务涵盖了以前闻所未闻的业务,如IP电话、大容量电子邮件、IDC服务、数据通信、宽带网业务、短消息、视频业务等。同样,电信综合业务支撑系统(OSS/BSS)将计费、营业、客服三种基本业务系统融合在一起,实现运营与管理的集中。这些数据信息正以超乎人们想象的速度在增长。
 
----那么,整个信息系统架构的成本核心是什么?存储的灵魂又是什么呢?
 
----上述的答案是:数据和数据管理。谈到数据的管理,就必须涉及数据的整个生命周期管理问题,即所谓的ILM。ILM就是对信息数据的产生、使用到消亡这样一个完整的生命过程进行有效管理问题。
 
----信息生命周期至应该涉及四部分内容:数据的创建-涉及高速、异构、网络化的自动存储管理;数据的安全-数据一旦产生,就必须提供适宜的、相应水平的安全和保护管理;数据的共享和迁移-信息数据的价值在于利用和共享,如何有效地将这些海量的信息共享出去,涉及到服务器的能力、应用系统软件的能力、存储资源的能力;数据的历史归档-如何确保几十年以后,数据依然存在、依然可读,数据可以按照不同级别分别存放在不同的存储设备上。
 
----近年来,网络存储(NAS)解决方案、城域网(SAN)解决方案大行其道,技术竞争使得网络存储硬件的成本按照几乎每年30-50%的速度持续下降。记得1999年时,1TB的基于SAN高端存储的市场价格几乎是70-100万美元,而在2004年年末,几乎降到5-8万美元。据估计,到2008年,每TB的成本可能降到5000美元左右。
 
----虽然,硬件的成本大幅度降低,但存储网络的总体管理成本却依然在不断上升。存储硬件和一体化的网络存储架构降低了数据在创建时期的单位成本,但是,数据的安全、共享、归档等后几个周期的成本下降则不是那么简单。信息数据可以简单分为两类:结构化的数据,比如Oracle数据库数据等;非结构化的数据,比如各种文件数据等。当今的信息系统中,结构化的数据占据核心重要的位置。值得关注的是,对于SAN或者NAS硬件体系、结构化的数据库数据的实时共享、数据库数据的自动分级存储管理、数据库数据历史归档的管理问题等并没有得到有效的解决,因此直接导致目前市场上缺少真正的ILM产品。
 
----存储厂商大致可以分为硬件厂商、软件厂商、存储网络交换机厂商。在炒作数据生命周期的概念的同时,硬件厂商典型的解释是,信息生命周期管理不是一蹴而就的,应该分阶段实施,每个阶段都可以实现相应的价值。它应该可以利用和继承客户目前所拥有的技术和体系结构。比如EMC就认为ILM分为三个阶段实施:实施自动网络存储,优化存储基础设施;提高服务等级,优化信息管理;实施集成式生命周期管理环境。
 
----事实上,即便按照EMC的观点来看,后两个阶段也不是简单的存储硬件方案就能解决好的。存储软件厂家需要发挥作用,承担责任。为了给数据在其整个生命周期中提供不同水平的数据存储可用性、数据安全保护级别,以及数据检索、迁移、共享性能和数据的归档,存储管理的软件地位不断上升。所以,传统存储硬件厂家纷纷涉足存储管理软件,例如EMC、HDS已致力于成为存储硬件、软件、解决方案和服务供应商。
 
幼年期ILM技术的热点
 
----正如上述分析,行业人士公认如今的ILM还只是处于幼年时期,所以有一系列的发展亮点。
 
1、数据的创建期
----数据的最初建立和使用的最初阶段,重点的挑战是数据的高速存储问题。但是,用户面对的往往是在同一系统(或企业)的不同部门都存在着不同的信息存储方案或是平台,再加上不断增长的企业业务信息数据,各类不同的软、硬件和信息存储技术共存。
 
----目前,业界将将异构的一体化的存储资源管理技术(SRM)看作是一个战略发展方向。
 
----Dynamic Markets的一项调查指出,超过96%的被调查者认为,在今后几年,存储网络化的步伐会加快,存储资源管理将成为企业存储管理系统中不可缺少的重要工具,比如EMC的AutoIS等。实际上,这是一个类似与SRM的解决方案。存储硬件逐渐标准化,利用软件管理多厂商的异构存储平台对于降低成本更有意义。利用通用存储资源管理软件体系,使企业能够全方面地了解他们拥有的存储资源,将不同产品组成的异构存储环境作为一个整体而不是一个个独立的部分来进行管理,使各种信息设备的存储、网络和主机资源管理得以简化,并实现自动化。
 
 
2、数据的安全保护期:
----数据安全的一个重要方面就是容灾规划和建设。容灾分为数据容灾和应用容灾。
 
(1)数据容灾(备份):
----在实际应用中,数据容灾依靠备份技术实现,目的是保证数据不丢失,但并不能保证服务不中断。数据容灾关注的是,数据必须结合企业现行数据存储方案,将原始数据完全一样地复制,最好保存在异地。当原始数据遭到人为误操作、软硬件故障、病毒危害、***恶意***和偶然性的自然灾害时,利用备份数据把原始数据恢复回来,使系统能够正常工作。
 
----数据的本地和异地备份以及灾难恢复技术依然是目前发展的热点。对于数据备份而言,客户永远对于更安全、更快速、更自动化的管理技术保持浓厚的兴趣,以下是几个典型发展热点:
 
磁带库集中备份方案――这是一个相对传统的方案。它取代多台磁带机,建立配合SAN网
---络存储的集中带库备份机制。磁带库的管理、控制、监测、诊断系集成在一个箱体里。
---使用磁带库作为自动存储解决方案,具有存储容量大、速度可以适度加快、提高自动操
---作水平、减少人工磁带管理工作等优点。但是,许多备份方案在恢复一个数据库时常常
---需要几天或者一周的时间,并不能达到客户满意的等级。
 
磁盘虚拟带库的增强备份方案――利用低价SATA磁盘虚拟成带库,以代替磁带机或者磁
---带库。其优点是精确性高,因为磁盘介质有RAID机制的保护,其可靠性远远高于磁带;
---速度也可以适度加快;可以利用原有的磁带库备份管理软件;减少了人工磁带的管理工
---作。比如北京双戈公司就比较积极推荐这种技术。但是采用虚拟磁带库,备份的时间、
---恢复的时间不能有根本的改变。
 
完全的基于磁盘备份的智能增强备份方案――采取开放的架构,支持各种磁盘技术。备
---份的数据管理采用全新的智能文件体系,精确性大幅度提高,因为除了磁盘介质和RAID
---机制以外,备份首次实现直接检查,确保数据的精确性;备份和恢复速度大大加快,恢
---复的速度是传统带库的5-10倍;充分发挥了磁盘技术的优势,结合智能文件系统,实现
---完全的自动化。这种方式的代表是迪思杰(DSG)公司的SnapAssure智能磁盘备份技术。
---这种备份技术具有如下显著特点:减少磁盘阵列空间需求2/3,比如在满足两周备份空间
---的情况下,共需备份磁盘容量约为生产系统的1.2-1.5倍,而其他方案满足同样的两周备
---空间共需要生产系统的4倍空间;支持对Oracle No Archive Log的备份;提供了更为
---确的直接恢复功能(包括表恢复等),直接恢复技术可将恢复时间缩短到分钟级和秒
---级;利用备份平台建立数据共享平台和软件测试平台,目前备份技术中还只有DSG Snap-
---Assure支持该功能,为备份在磁盘上的数据提供直接访问功能。
 
(2)应用容灾
----在异地建立一套与本地数据系统相当的冗余系统,当灾难出现后,远程系统可以迅速承接本
地应用系统的业务,保证服务不中断。
 
----目前主流应用容灾的技术是基于磁盘阵列复制方案和存储卷的解决方案。现有的容灾解决方
案要求至少数千万元的投资(昂贵的磁盘存储系统和昂贵的存储卷管理系统),并且在灾难未发
生时,容灾端的设备会闲置。
 
----逻辑级的数据库数据保护冗灾是下一个热点。在逻辑级,通过传输和运行数据库事务(Tran-
saction)来保持生产和备份数据库数据的一致性。一旦数据库因某种情况不可用时,备份数据库
将切换为新的生产数据库,以达到无数据损失或最小化数据损失的目的,为业务系统提供持续的
数据服务能力。同时,利用备份数据库的数据提供查询、统计分析、数据抽取等多种增值服务。
 
----目前DSG的RealSync、QUEST的SharePlex,以及部分数据库厂家正在进行这方面的努力。
 
3. 数据的共享
----数据共享是信息生命周期管理中做的最差的一环。 虽然采用了网络存储SAN或者NAS来存储
和管理企业信息,但是,结构化的数据库数据依然是分割的,存在大量的信息孤岛,造成大量的
信息资源无法及时共享,大量查询、统计报表和数据仓库应用性能低下。
 
----由此可见,纯硬件的复制技术是满足不了数据共享需求的。数据共享是实现不同系统之间的
数据共享和应用集成,将查询和统计分析独立出来,以便获得更高的性能和灵活性,将数据仓库
的数据独立于生产系统,降低生产系统资源争用,整合企业信息资源,建立企业统一信息模型。
 
----数据库的逻辑复制技术是一个热点。比如DSG的SmartE是通过安装在各信息系统上的代理程
序,实时监控分析各系统数据库的交易变化,再按照客户设置的规则将最新变化信息发布给那些
订购了这些信息的系统代理程序。目标系统根据接收到的信息将数据存入其数据库系统。SmartE
可以为企业提供应用分离,如将OLTP应用、报表和查询应用分离,提高各系统效率,降低资源争
用和消耗;数据分发,提供远程用户的数据访问,将本地数据发送给远程用户;数据集中,将分
散系统的数据集中到企业统一数据平台上,实现企业统一信息模型;应用集成,实现企业系统之
间的数据流通和共享,打破企业信息孤岛,实现系统的信息互通;数据仓库,将源系统上的数据
复制到另外一个系统上,用于统计分析、数据挖掘和历史数据管理等应用。
 
----数据库逻辑复制技术可以被灵活配置。根据业务逻辑,很多情况下无需对所有的数据表信息
进行复制,而只需要复制那些需要的表的信息,这样可以减少存储和网络带宽的成本。同时,数
据库逻辑复制技术支持水平和垂直分割,也支持各种复制策略,如1:1单向复制、一对多复制、
多对一复制等。
 
 
4. 数据的归档
----通常来讲,数据被重用的概率自数据创建3天之后就会下降50%,而高达90%的数据超过90天
后就不会或很少被读取。分析家的报告指出,Unix和Windows的存储资源利用率只有20%至50%。
把不重要的数据从其占据的昂贵的存储设备上移到相对廉价的存储设备上,为其提供适当的可用
性、容量、成本、性能和保护,是降低成本的关键所在。
 
----真正的挑战来自于结构化的数据库数据的归档和分级存储管理。数据库数据是相互关联的,
不能简单地移动。如果破坏了其关联性,将造成数据库崩溃或者不能正常工作。