基于SAN网络存储的企业信息系统构建

摘要

随着Internet和网络技术的飞速发展,企业需要存储和处理的数据呈现在出爆炸式的增长,数据访问的稳定性和数据的安全性也越来越重要。在数据存储的需要较小时,存储设备只是服务器一个附属设备,但是当数据量持续增长,服务器间数据交换越来越频率,跨平台数据共享的需要越来越多,传统的存储架构以及网络技术已经无法适应当前的需求,在这种背景下SAN存储技术应运而生了。

关键字:SAN, FC,I/O, 卷管理器。

 

1 概述

目前存储应用的体系结构主要有DAS、NAS 和SAN三种模式。三种模式从体系架构的逻辑上看, 有明显的区别。 一般的存储系统具有以下几方面的要求:性能、 安全性、 扩展性、 易用性、整体拥有成本、服务等等。

直接附连存储 DAS (Direct AttachedStorage) 架构,是比较早的存储形式,服务器直接连接存储设备,如磁盘 磁带磁盘阵列 带库等。存储系统依赖服务器主机操作系统进行数据的 I/O读写操作和存储维护管理。

网络附加存储 NAS (Network AttachedStorage) 架构,通过网络交换机连接存储系统和服务器主机,建立专用于数据存储的存储私有网络,可连接到一个主机或多个主机上。拥有自己的文件系统,通过 NFS 或 CIFS 对外提供文件访问服务,是基于文件级的存储方式。

存储区域网络SAN(Store area network)是一种利用 Fibre Channel 等互联协议连接起来的可以在服务器和存储系统之间直接传送数据的网络. 数据的存储和管理都是集中在 SAN网络中进行的,是基于数据块级的存储方式,数据以数据块的形式访问.

综合归纳,可以看出DAS,NAS和SAN三种存储架构有如下区别:

比较项目

DAS

NAS

SAN

接口

并行总线

IP网络

光纤通道

成本

性能

管理方式

分散

集中

集中

传输介质

SCSI

普通网络传输介质

光纤

传输距离

12M

无任何限制

10KM

拓展性

适用范围

小型存储

中型存储

大型存储

2 企业信息系统SAN存储网络场景构建

一个具有一定规模的企业通常需要建立一个相应的信息处理系统,从而达到企业对数据中心的信息的操作和处理需求。我们将通过对一个具有传统信息处理系统的企业进行一步一步的分析和改进,最终构建出一个SAN存储网络,解决这个企业信息系统对大规模数据的处理需求。

2.1 先前的企业信息系统

    我们假设有一个中等规模的企业,具有对其数据中心数据处理的需求。该企业当前使用的是传统的信息系统体系结构,即客户-服务器模型,如图 1所示,它从数据存储和I/O的角度描述了企业信息服务操作的基本组件。


1 企业传统信息系统结构

由图中我们可以看到,它通过一个广域网WAN将四个局域网相连接,实现了企业内部的互联,再通过支持服务局域网中的Web服务器,将网络接到Internet上。四个局域网分别是财政局域网、开发局域网、用户服务局域网和支持服务局域网。

财政局域网的用户是企业的会计管理人员,他们需要对企业的财政数据进行访问和管理。在财政局域网中,有一些运行应用程序的服务器,还有存储着整个企业财政数据的财政数据库,支持了企业会计管理人员对企业数据的访问处理,使企业能够正常运转。

开发局域网的用户主要是企业中进行产品和应用系统开发的企业开发人员。它的功能和财政局域网的功能类似,在开发服务器中存储着开发人员需要的企业数据,供开发人员使用。

用户服务局域网中有文件服务器和邮件服务器,面对的用户是企业范围内的工作人员,它通过这些服务器给企业用户提供了电子邮件一类的服务。在用户服务局域网里对局域网内用户提供的服务较少,主要给其他局域网上的用户提供服务。因而在用户服务局域网中所包含的数据并不十分重要。

支持服务局域网是为企业范围内工作人员提供的额外内部服务,同时Web服务器提供了对外部的网络访问的功能。企业备份服务能够为没有备份的服务器提供支持,数据仓库与其他服务器的通信,能够通过数据挖掘从大量信息中获得企业发展方向的提示。支持服务局域网和用户服务局域网具有一些相似点,支持服务局域网也没有对本地用户提供很多的服务,而是主要面向企业其他分区的用户提供服务。

在这个网络结构中,能够对各个部门和服务进行分区管理,在一定程度上减少了系统崩溃对整个企业网络系统运作的影响。例如当开发部门的数据丢失时,只造成了开发局域网中用户数据访问的损失,而对除开发局域网之外的分区网络影响不大,财政局域网中的会计管理人员仍然能够正常地访问他们的数据,能够维持正常的工作。

虽然当前的企业信息系统存在一些优势,并且暂时满足企业的功能需求,但是随着企业业务增加,外部环境的变化,此时的信息系统则表现出了很多缺陷和不足。首先,服务器为中心的数据存储只能存放很少的企业数据,当企业数据量出现快速增长时,数据很快用尽服务器上的存储空间,服务器很快达到其性能的极限。其次,服务器使用本地存储,只能对本地文件进行操作和管理,如果需要对其他服务器上的数据进行访问时,如开发人员需要查看到局域网中另一服务器的数据,计算机必须将被访问的服务器数据复制到本地的服务器,增加了额外操作,需要较长的响应时间。以服务器为中心的模型无法适应企业网络对高可靠性和高容量的要求。

2.2改进的企业信息系统SAN存储网络

当企业信息处理的增长速度和在线数据增长速度超过了预期计划,信息系统的在线存储空间不足,没有多余的空间能够对表进行扩展操作,也没有空间能够分配给需要新创建的文件,这样的状况很可能会导致正在进行中的应用程序的失败,而这些应用程序的失败是不能被一个需要对信息持续访问和操作的企业所接受的。我们希望对现有的无法满足容量扩展的企业信息系统进行改进,改进后的存储网络模型至少能够满足企业信息量快速增长的存储需求。

我们使用SAN存储网络对原有的以服务器为中心的企业信息系统模型进行了改进,如图 2所示。在各个局域网上,按照SAN的概念对原有的服务器和存储设备进行重新整合,将数据存储设备和服务器连接成一个存储网络。由于用户服务局域网和支持服务局域网具有某些相同特点,即都是主要为外部网络分区上的用户提供服务,所以将两个局域网的数据中心合成一个,更易于管理。


2 改进后的企业SAN存储网络

在以服务器为中心的信息系统的基础上,企业为了满足容量的扩展需要,可能会在服务器上连接未用的磁盘池,并派系统管理员对磁盘池进行维护和装配。每个服务器都维护有多余的存储空间,就能够避免在存储空间不足时及时得到更多的存储空间支持,而不会导致应用程序的失败。但是在每个服务器上维护一个存储池,代价会比较高,因为只有当服务器存储空间不足的紧急情况时,才能发挥存储池的作用,所以在大多数情况下,存储池可能只是空闲的存放着,没有起到任何作用。同时,每一个服务器上维护的存储池的存储空间大小也是值得商榷的,存储空间很大的存储池可能被安排在一个不经常需要额外存储空间的服务器,而常常需要额外存储空间的服务器可能只有很少容量的额外空间,导致应用程序失败,即出现资源分配不均。

其中以SAN概念改进后的企业信息系统,对每一个局域网中的服务器存储部分进行了改变,使用FC交换机将服务器和存储设备进行连接,使得服务器和存储设备构成了局域网中的一个存储网络。这样的存储网络结构将数据的存储设备,包括增加的额外存储池,都连接到服务器上,由于存储池处于一个存储网络上,并非某个服务器专属,当任何一个服务器出现存储空间不足时,都能够从存储池上及时获得额外的存储空间,满足应用程序的需求。例如在财政局域网中,当应用程序服务器出现空间短缺时,能够向存储网络中的存储设备申请存储空间,财政数据库同时发生空间短缺,也能够向同一个存储设备进行空间申请。当应用程序不再需要这些存储空间时,可将存储空间返还给存储池,又能够提供给另一个急需额外存储空间的应用程序。这样的部署减少了每一个服务器都配备存储池的额外费用,也提高了存储空间分配的灵活性。

SAN存储网络通过对企业服务器和存储设备的整合,解决了企业信息系统面临的存储空间不足的问题。虽然SAN存储网络并不能提供无限的可用存储,但是当面临数据和处理信息的快速增长,只需将大容量存储设备接入到存储网络中,就能方便快速的扩展当前系统存储容量,满足企业信息系统的存储需求。

在满足企业对存储空间的需求外,SAN存储网络还能够为用户提供更多的服务。使用SAN存储网络,使得局域网中的用户能够方便的对全局数据进行访问。正如在前一小节所提到的,局域网中用户想访问另一服务器的数据,需将另一服务器上的数据拷贝到本地,才能进行访问和操作,在SAN存储网络中,由于每一台服务器都与存储设备相连接,如果局域网中的用户想访问另一台服务器数据的时候,直接可以对数据进行访问,而不需要进行额外的拷贝工作,减少了响应时间,并且更能保证数据的一致性。同时,SAN存储网络使用FC交换机连接各个存储设备,提高了数据中心之间的通信能力,增大I/O带宽,提高系统性能。整合在一起的数据中心能够更方便数据管理人员对数据的管理。总之,以SAN存储网络改进后的企业信息系统适应了更大数据存储空间的需求,体现了更大的优势。

 

3关键技术研究

上一章节就给出了一个SAN在企业信息系统中的应用实例,在此给出一个SAN存储系统更一般的架构,如下图。


图3 SAN存储系统架构

3.1 SAN的FC体系

光纤通道FC(Fibre Channel)是一种基于标准的网络结构。它的标准定义了物理层的特征、传输控制方法以及与 TCP/IP、SCSI-3、HiPPI(High PerformanceParallel Interface,高性能并行接口)和其他一些协议的上层接口。光纤通道是一种吉比特传输技术,目前已经达到 2Gbps 和 4Gbps 的传输速率,SAN即是依附于这种高速传输协议之上。FC协议共分为5层,包括FC0-FC4,下图是FC协议的层次结构。


图4 FC协议层次结构

3.2 I/O性能

在许多的C/S架构中应用程序每秒钟会产生很多的I/O请求,该应用程序I/O密集型应用,并且大多数时候请求的顺序是不可预测的,随机的IO请求,特别是小型(请求数据量较小)I/O意味着数据定位比数据传输更影响I/O性能,针对这种I/O密集型的应用,常用的有两种方法来提高磁盘的访问速度。

3.2.1 cache和I/O性能

Cache对应用程序的读性能提高是非常明显了,特别是对一些热点数据,该数据一旦被读取到cache中就可以反复被应用程序利用并且不需要访问磁盘。

当数据被修改了Cache的数据写写入磁盘有两种策略,第一种是写直达策略(write-through),该策略是只有数据在磁盘上写入成功,才标记数据更新成功,写直达策略并不能提高数据的写入性能,但是应用程序依然可以直接访问已经更新的数据块。另一种称为写回(write-back)策略,该策略下数据一旦写入cache,就认为该数据已经更新成功,然后数据延迟一段时间在磁盘空闲时再将数据写入磁盘,该策略可以显著提高系统性能,因为应用程序不必等待I/O操作完成。然而这种策略却存在数据完整性的风险,这会发生在cache内容写回磁盘的过程中,如果此时系统崩溃,将面临巨大的风险,因此数据库管理系统通常在提交事务处理前先将应用请求安全地写入磁盘日志,从而保证数据的完整性。

3.2.2 I/O负载均衡

       另一种提高I/O密集型应用程序的策略是将读/写操作分布到不同的磁盘上,从而可以增加同时执行的I/O请求数量。不过应用程序中通常会有一些热点数据,例如程序的配置文件等,应用程序对这些数据的访问频率会远高于其它数据,如果这些数据数据分布在单一磁盘上显然系统性能会被磁盘性能所限制,因此可以将热点数据分布到不同的磁盘设备和路径上,以此来提高数据读写性能。

       数据条带化是将数据按条带的方式将数据划分到多个存储设备,数据条带化使用与应用程序的数据(如关键字)完全不同,它是将每一个文件或者表单分布到多个存储设备,条带化不关心哪些数据是热点,由于其完全分布的特点,因此可以取得非常好的I/O负载均衡效果。

3.3 卷管理技术

       数据中心的稳定性体现在磁盘,I/O甚至是计算机故障的情况依然可以对外提供服务,卷管理器则可以很好的保障数据的可用性,卷管理器通常组织磁盘形成磁盘集合,并把整个集的元数据得到其中的几块磁盘上,通过复制元数据,在启动的时候,即使集合中的部分磁盘不能工作,也能找到卷的所属成员,并启动卷。

       卷管理器能够 条带化数据到多个磁盘或者LUN上,条带化通过均衡I/O负载到多块磁盘上方式来提高I/O性能。卷管理器通常采用RAID技术来将数据条带化到多个磁盘,通常采用如下的几种方式来条带化数据。

1.       直接条带化,这种方式不对数据进行任何的保护,也就是采用RAID0的方式来存储数据,这种方式具有极高的性价比,但同时也具有较高的风险。

2.       数据校验,常用的一种方式是采用奇偶检验的方式来对数据进行保护,也就是通常的RAID5级配置,这种可以应对磁盘阵列中的任何一块磁盘的失效,从而有效提高数据的安全性。

3.       提供镜像的容错机制,可以采用RADI0+1的配置方式,这样即考虑了容错性,条带化镜像技术,为在线应用系统提供了理想的组合方式。

然而有两种情况可能会影响到卷的可用性:磁盘不可用和卷管理器或者RAID控制器崩溃。针对磁盘不可用的情况可以使用检验和镜像技术来重建数据,而在一般的卷管理器中都支持热备份技术,当磁盘失效的时候可以将将数据重建到预留的磁盘上,从而降低更多磁盘失效带来的影响。

由于镜像和RAID卷使用多个IO操作能够分布到不同的磁盘上,所以应用程序写的时候必须是原子写的,从而保障写入数据的正确性。因为卷管理器运行的系统可能会在一时更新部分完成的时候崩溃,如果这种情况发生,在系统从崩溃中恢复之前是不能被发觉的,为了解决这种问题一个简单的方法就是在系统崩溃时假定所有的数据是不一致的,然后重建整个卷,不过这将会使用恢复时间比较长。一个比较可行的策略时在更新的时候对需要更新的块记录日志,当崩溃的时候可以使用日志来对不一致的块进行重建。

4 结束语

从实践中表明SAN存储架构已经很好地满足目前信息化应用在单服务器扩容、服务器多机高可用集群、高性能、高可用、高扩展的网络存储和简单易用的网络文件共享等方面的需求,在大型企业信息系统中为消除信息孤岛和实现跨区域信息共享和容灾取得了很好的效果,在SAN存储区域网络架构的发展中将融入更多新的技术,也会取得更加长足的发展。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值