存储架构对视频服务器带来的性能影响分析

1、 存储分类

目前的存储市场上，大致分类如下，根据服务器类型分为：封闭系统的存储和开放系统的存储，封闭系统主要指大型机，开放系统指基于包括Windows、UNIX、Linux等操作系统的服务器。开放系统的存储又分为内置存储和外挂存储，开放系统的外挂存储根据连接的方式分为：直连式存储（Direct-Attached Storage，简称DAS）和网络化存储（Fabric-Attached Storage，简称FAS）；开放系统的网络化存储根据传输协议又分为：网络接入存储（Network-Attached Storage，简称NAS）和存储区域网络（Storage Area Network，简称SAN）。本次借用HP/UIT存储的连接方式属于DAS方式接入。

 

2、 存储方案示例及对比说明

 

 

 

方案	优缺点分析	性能瓶颈分析
内置存储	能够充分利用计算机IO总线带宽，从性能来说是最好的，如果磁盘数够用，能够充分发挥视频服务器软件的性能，但是除了能够充分利用总线带宽之外几乎具备DAS的所有缺点而且对存储的管理没有外挂存储专业。
DAS	ü  不方便大容量扩充，但是比内置存储扩容方便 ü  不方便多台服务器共享存储（取决于存储控制器的个数） ü  不能满足多台服务器集群时对高带宽的要求 ü  系统维护时需要造成系统停机，不适合实时性要求很高的业务	能够通过FC、SCSI接口与服务器连接，但是目前主流的硬件水平光纤卡4Gb/s,SAS卡6Gb/s,以及服务器pci-x插槽最大流量的限制，所以通道的带宽成为视频服务器性能瓶颈。
SAN	ü  扩容方便 ü  易于多台服务器共享存储 ü  易于满足视频服务器集群时对带宽和IOPS的需求。	同上
NAS	通过以太网交换机接入存储，虽然扩展方便，但是以目前的网络带宽和硬件水平通过8个千兆网卡获得的带宽远没有通过一个8Gb/s的HBA获得的带宽来的方便，而且NAS走的是网络协议，需要视频服务器能够对点播的请求通过负载均衡到不同IP地址来获取数据流，需要视频服务器从功能上对该架构支持才能得到想要的带宽，尚不知道目前的视频服务器厂商是否支持该种架构的存储部署。

 

 

3、 高端磁盘分析

目前高端存储的磁盘主要分为光纤盘和SAS盘两种，通过分析网上其它人的测试结果和对比一些硬件厂商同一型号的两种硬盘发现，SAS硬盘的总体性能略好于光纤盘，但是由于光纤盘技术的复杂性，价格略贵于SAS盘，通过分析目前一些存储厂商的方案，SAS盘被采用越来越广泛，有成为高端存储主流的趋势。

ü  目前同样15000转的SAS磁盘和FC磁盘从本身单个磁盘来讲，性能差不多。

ü  对于磁盘阵列，采用SAS交换架构的系统与采用FC光纤通道仲裁环架构的系统相比，在配置大量磁盘的情况下，前者的整体性能要优于后者。

ü  SAS磁盘拥有更广阔的市场前景，将和SATA磁盘一起将成为企业级磁盘市场的主流，同时适合高性能以及大容量的存储应用需求，FC磁盘的市场空间将逐步萎缩。

 

如下，我对借用的UIT/HP存储中硬盘进行对比（目前高端存储中广泛使用的磁盘）

类别与型号	性能指标参考
SAS盘 型号：st3300657ss	接口带宽 6Gb/s 每秒中允许IO次数（IOPS）在200-300左右
FC盘 型号：st3300657FC	接口带宽 4Gb/s IOPS 略低于SAS盘

 

总之，具有高带宽的硬盘在传输大块连续数据时具有优势，而具有高IOPS的硬盘在传输小块不连续的数据时具体优势。所以无论从哪方面来说SAS硬盘在目前的硬件水平来说都非常适合VOD产品。

 

4、 VOD使用场景中磁盘阵列可能影响视频服务器性能未充分发挥的要素分析

ü  存储控制器与磁盘柜之间采用的连接通道技术

目前主要实现的技术方式有如下两种：一种是基于SAS技术的数据全交换，每块SAS或SATA磁盘独享6Gb带宽(SAS2.0标准)，随着磁盘数量的增加，数据通道不会成为瓶颈，性能不下降。另一种是采用2Gb/4Gb/8Gb FC光纤通道仲裁环连接存储控制器与磁盘柜，任何时刻只访问一个FC磁盘, 采用环状结构，环上的所有磁盘共享这个环路带宽，仲裁延时长，而且同一时刻只能对一块磁盘进行读写操作。当配置磁盘数量较多时，受到环路架构的限制，存储整体性能呈迅速下降趋势。

ü  存储设备中磁盘的数目和类型

如果基于sas的数据全交换技术实现控制器与磁盘柜的连接方式，磁盘数量决定IOPS及总体带宽，通长控制器的IO带宽是足够的

ü  磁盘控制器与视频服务器之间的带宽

这个主要取决于连接方式，目前高端存储主要采用FC-SAS和SAS-SAS方式，以光纤卡接入方式为例，目前主流光纤卡4Gb/s(8Gb/s的光纤卡也存在，价格昂贵)，如果通过sas卡接入可以达到6Gb/s,但是连接长度受限，通长不能不超过6米，所以视频服务器不能像读内置磁盘一样，充分利用系统的IO带宽。

ü  磁盘阵列采用的数据备份技术

磁盘阵列只所以能做到完善的容灾措施是以牺牲磁盘带宽和IOPS做数据备份为代价的，不同RAID级别性能差异较大。

 

5、 视频服务器推流的路数计算规则

通过上面的分析大致可以清楚视频服务器在推流过程中因为存储导致的各部分性能瓶颈，以本次视频服务器测试的数据为例介绍视频服务器能够推送流的路数与存储设备的关系。

以下计算示例是以如下条件为前提得到的：

ü  每张SAS2.0盘大概能够同时推送200个不同文件的独立流

这个值主要由磁盘IOPS决定的，在本次测试时最大值为207路独立流

ü  接入视频服务器的硬件设备采用4Gb/s的主流光纤卡

ü  磁盘阵列采用sas2.0的盘阵的raid0级别，并且磁盘的个数充足。

这只是为了保证磁盘阵列正常工作并没有做数据冗余备份，而是把所有磁盘带宽和IOPS都让给了与视频服务器之间的数据交互使用，真实环境不会用raid0。

ü  忽略视频服务器因为并发数的增加而带来的性能下降

ü  视频服务器并发路数的计算规则

在本次测试过程中得知视频服务器厂商提供的最大推流路数并不是对不同文件的最大推流路数（这是最坏的情况，这需要对软硬件的双重考量），厂商对外宣称的最大推流路数通常每10个流有6个独立流的假设（具体数据未必准确），如对外宣称能够推送4000流，但是如果推送不同文件独立流最多能够推送4000x60%=2400路，而对同一个流（文件）的最大推送路数由磁盘造成的瓶颈可以忽略，因为视频服务器完全可以通过对某一路流（文件）的缓存机制实现N次推送而只做一次磁盘交互，其余每次推流都去内存拿数据即可完成。所以为了能充分说明视频服务器推送流的路数与存储之间的关系，如下计算只讨论不同文件独立流的情况。

 

u  不同文件独立流与存储之间的关系

a)         内置存储测试

可以简单认为磁盘个数与不同文件独立流并发数成线性关系,当然上限肯定存在需要通过真实的测试情况得知。

 

不同文件独立流并发路数=SAS磁盘个数x200

 

b)         DAS存储（直连式存储）测试

这种情况测试的主要性能瓶颈是由存储和视频服务器之间的带宽决定，假设采用4Gb/s的HBA连接则（HBA支持的带宽越大，得到独立流并发路数越多）：

 

不同文件独立流并发路数=4Gb/3.75Mb=1090

 

u  不同部署方式对性能的影响分析

 

a)         单台视频服务器+DAS存储（或SAN存储）部署

这种方式如果想得到更多的不同文件独立并发流，需要采用高带宽HBA或者多路HBA接入视频服务器。

 

b)         单台视频服务器（内置存储）部署

这种部署方式能够极大的发挥视频服务器性能，前面已经分析。

 

c)         视频服务器（内置存储）集群部署

这种部署方式能够让视频服务器充分的发挥性能，能够用最少的视频服务器达到最大并发数。

 

d)         视频服务器集群部署+SAN存储部署

这种部署方式相当于由多台视频服务器+DAS存储构成，大致可以理解为增加一台视频服务器加上一台存储设备可以增加1090路独立流（在使用4Gb/s光纤卡的情况下能够得到1090路并发流，使用8Gb/s的情况下能够得到2180

路不同文件独立并发流）。