一种数据中心存储及SAN网络整合的解决方案

摘要：企业数字业务的快速发展，数据成为企业最重要的资产之一，各种生产经营业务对信息系统的依赖程度越来越强，关键业务系统对企业信息系统的可用性提出了更高的要求。数据量的急剧增加，会导致存储设备不断增加及SAN网络不断扩大，不同品牌存储的购置，为企业应用系统的数据迁移、可用性及存储资源的性能优化及分配带来了极大挑战，本文通过实施存储和SAN网络的整合，解决了今后设备的升级换代、业务的高可用性及存储资源动态优化等问题，同时降低了企业IT运维资本支出。

关键词 整合 存储虚拟化 VSAN 架构

一、引言

随着企业信息业务的发展，对存储容量的需求不断增长，在不同的信息基础设施建设周期，会采购不同生产厂商的存储产品，并且不同采购时期存储的性能也会有很多的差异，这本身除了同一厂商不同系列产品性能有差异外，同时由于存储介质技术的发展也会导致存储性能的差异，从早期的SCSI接口存储硬盘到后来的SATA、FC、SAS接口存储硬盘以及目前的SSD固态硬盘，使得存储的性能不断攀升，不同品牌存储的购置，为企业应用系统的数据迁移、可用性及存储本身的管理都带来了极大挑战；另一方面在数据中心内，以光纤SAN为存储网络的架构仍占据统治地位，服务器及存储设备的不断购置，必然会导致SAN交换机数量的不断增长，同样会导致SAN网络管理的复杂性。为了保证企业信息系统的可用性，简化存储设备及SAN存储网络的管理，需要对存储设备及SAN网络进行统一整合，满足企业未来信息化业务发展的需要。

二、存储业务现状及存在问题

1、存储设备及SAN交换机现状

某企业的存储设备现状如下表-1

存储设备表-1

型号	数量	配置	购置时间
DS4800	1	双控制器，每个控制器提供4个4GB FC接口	2008年
DS3400	2	双控制器，每个控制器提供2个4GB FC接口	2010年
HDS2100	1	双控制器，每个控制器提供2个4GB FC接口	2010年
HDS2300	1	双控制器，每个控制器提供4个8GB FC接口	2012年
HDS130	1	双控制器，每个控制器提供4个8GB FC接口	2013年
SureSAS112	4	双控制器，每个控制器提供2个8GB FC接口	2014年
VNX5400	1	双控制器，每个控制器提供8个8GB FC接口	2016年

多数存储硬盘配置的是两种类型不同性能的硬盘，早期有FC和SATA两种类型，后期购置存储配置的是SAS与SATA或NL-SAS的组合，满足不同业务类型的需要。

SAN交换机的现状如下表-2

SAN交换机表-2

型号	数量	配置	购置时间
IBM  SAN16B-2	4	16个4GB FC端口，OEM自Brocade 200E	2010年前
IBM  SAN24B-4	4	24个8GB FC 接口，OEM自Brocade 300	2012年
Brocade 300	2	24个8GB FC 接口	2012年

2、企业的信息系统硬件部署过程

该企业2010年前的应用系统部署以单机+RAID卡的方式为主，后期业务系统部署采用HA架构共享存储的一个LUN或者给单个服务器分配存储的一个LUN，来保证业务可用性。架构如下图-1：

业务系统架构图-1

随着业务的发展，信息应用系统的不断建设，服务器、存储、SAN交换机的数量不断增加，出现了下面所述的一些问题，需要IT部门来解决。

1. 新购置的存储性能一般会比现有的存储高，现有应用系统要停止服务才能迁移数据，导致应用系统的可用性变差，对于一些关键的业务，中断业务会导致一系列的问题；新旧存储并存，单一存储故障或检修期会可能会导致业务停顿，业务可用性也会变差；
2. 随着不同型号、不同厂商存储的增多（见表-1），不同的存储管理程序，再加上IO性能在存储内部及不同存储之间性能的差异，导致存储管理维护的工作量不断增加；
3. 从图-1可以看出，由于上层服务器及下层存储数量的增加，互联存储与服务器的中层SAN交换机的数量不断增加（见表-2），会导致新购置的存储由于端口数量的限制不能辐射到业务需要的所有服务器，不能灵活的按照IO性能需求及业务需要进行资源的合理调配，虽然可以级联SAN交换机，但级联带来的IO瓶颈，对存储资源调配仍是一个难题。随着时间的推移，会形成一个个SAN网络及存储资源的孤岛；

基于以上问题，又考虑到业务的今后的长期扩展，提出了两步走的解决方案。第一阶段在SAN交换机与存储之间部署存储虚拟化设备，统一管理存储的LUN，根据IO性能进行分类，满足不同业务需要；在不同存储之间，实现在线数据迁移，对不同型号或不同厂商的存储数据进行镜像，提高关键业务系统的可用性。第二阶段将现有的SAN交换机更换成2台导向器级的SAN交换机,确保SAN存储网络的高可用性和扩展能力，提升SAN网络的性能，简化SAN网络的管理，实现存储资源的合理调配。

对于存储虚拟化设备，业界使用比较广泛有IBM的SVC（SAN Volume Controller）及EMV的Vplex等，这里我们选择了Vplex作为我们的存储虚拟化管理设备；对于SAN网络的整合，业界在数据中心使用比较广泛的产品有Brocade的DCX系列产品、思科的MDS系列产品，这里我们选择Cisco的MDS 9710，可以满足更多终端设备（服务器、存储资源和磁带设备）的以4 Gbps、8 Gbps 或 16 Gbps接入。

三、存储整合实现方案

为解决存储方面存在的问题，我们采用一台VPLEX来现有的不同厂商存储进行虚拟化整合管理。VPLEX根据数据中心架构及地理位置，提供VPLEX Local、VPLEX Metro 和 VPLEX Geo三种选择，均具备高可用性和数据移动性功能。VPLEX的纵向扩展特性支持单引擎到双引擎群集以及双引擎到四引擎的无中断升级，横向扩展特性支持支持从 VPLEX Local 无中断地升级到 VPLEX Metro 或 VPLEX Geo，满足同城双活数据中心及异地灾备中心的发展需要。本方案考虑在一个数据中心内，采用VPLEX Local产品，存储整合后如下架构图-2。

存储整合架构图-2

VPLEX的虚拟化管理机制:利用 VPLEX 中的设备虚拟化功能，可将存储设备的LUN声明为 VPLEX 中的存储卷（storage Volume），并在此将它们分割或封装为扩展区(extent)，用于构成复合设备(device)，然后将这些设备作为虚拟卷(Virtual Volume)呈现给主机。VPLEX 支持几种不同的“虚拟到物理”设备转变方式，其中包括：

1. 存储卷封装:后端存储设备将LUN分配给VPLEX后,VPLEX会保留LUN上的现有数据，并利用后端 LUN 的介质保护和设备特性。
2. RAID 0: 通过聚合多个devices构造出一个条带设备，利用跨不同存储的LUN提高IO性能。
3. RAID-C: 通过连接2个或多个小的devices来创建较大的设备。
4. RAID 1：通过对devices镜像来创建设备。RAID 1 设备可以来自不同后端存储 LUN，从而能够承受后端存储故障。
5. 磁盘切片：可对存储卷进行分区且可根据这些extent创建设备，同时利用后端存储的动态精简分配功能。
6. 在线卷扩展：可通过串联附加存储来动态扩展由 VPLEX 分配给服务器的虚拟卷。
7. 迁移：可采用无中断方式将卷迁移到其他存储系统。

通过VPLEX对现有的11台存储（见表-1）进行整合，可以实现以下几个目标：通过增加存储可以在线扩容存储容量；ORACLE数据库、虚拟化服务器集群等的关键业务系统可利用跨存储的镜像卷，实现业务的高可用性；利用VPLEX的分片及聚合功能可以很灵活的根据业务IO性能需求进行合理的存储资源分配。

四、SAN网络整合方案

在对存储整合完成以后，为解决SAN网络存在的问题，采用2台Cisco的MDS 9710来替代现有的全部SAN交换机，淘汰的SAN交换机用作测试环境搭建。

Cisco MDS9710 多层导向器是导向器级 SAN 交换机，可以最为有效且最经济的方式部署大规模的 SAN，每个机箱上有多达 384 个 16 Gbps 光纤通道端口，端口密度大，可以满足也不断展的需要；每插槽 1.5 Tbps光纤通道性能，16 Gbps线速交换能力；提供VSAN功能，整合物理的SAN孤岛同时保持逻辑边界；提供IVR，用于在VSAN间共享资源。这些功能可以将企业数据资产整合到更少、更大且更易于管理的SAN中，从而减少硬件占用空间以及相关的资本和运营支出。

SAN网络的整合架构图如下：

SAN网络整合后架构图-3

项目初期购置了两台MDS9710，每台配置双引擎，2块48口16GFC交换板,16G的模块满配，冗余电源。实施时为了不影响关键业务运行，在两台设备上创建端口及数量相同的VSAN，总共10个，相当于10台SAN交换机，利用关键业务FC冗余特性，逐台迁移。创建情况见下表-3。

VSAN创建表-3

MDS9710A	5-1-16	5-1-24	5-3-24	5-5-24	5-3-16
MDS9710B	5-2-16	5-2-24	5-4-24	5-6-24	5-4-16

对于部分服务器FC单链路接入的业务如备份业务，可根据情况停止服务后进行迁移。迁移顺序为5-1-16-->5-1-24-->5-3-24-->5-5-24-->5-3-16-->5-2-16-->5-2-24-->5-4-24-->5-6-24-->5-4-16。每完成一个SAN交换机的线路迁移后，通过MDS9710的管理接口检查被迁移SAN交换机上原有的设备WWN是否ONLINE，同时使用多路径软件检查服务器的两条FC链路是否工作正常,待一切正常后开始迁移下一台SAN交换机。

完成全部10台SAN交换机迁移后，SAN网络由迁移前的物理SAN孤岛转变为迁移后的逻辑SAN孤岛，紧接着的工作便是利用ZONE、VSAN、IVR等特性进行SAN网络优化。

首先可以利用VSAN特性结合业务的实际将多个端口数量少的VSAN合并一个端口数量多的VAN，也可以随时增加或删减VSAN的端口数量，从而可以实现端口资源的合理调配，满足新增设备的需要；一个VSAN相当于一个逻辑的SAN交换机，可以利用ZONE的特性对存储设备的访问进行隔离；使用IVR功能可以在VSAN之间创建访问路由，实现跨VSAN访问；利用高级流量管理功能管理带宽和控制延迟，以便优先处理关键流量。

结束语

通过实施存储和SAN网络的整合，满足了今后设备的升级换代、业务的高可用性及存储资源动态优化的需求，同时降低IT运维资本支出。随着企业规模及数据业务的增长，对数据的安全性、业务高可用性会提出更高的需要，利用VPLEX Metr架构可以在同城建立双活数据中心，结合VPLEX Geo在异地建立灾备中心，从而可以实现两地三中心的架构。通过MDS9710的端口通道功能，允许用户将多达 16 个物理ISL汇聚到单个逻辑捆绑链路中可以实现SAN网络在一个数据中心更大规模扩展。