[硬件知识篇]云GIS基础硬件知识——存储

很多时候用户会给我们提出这样一个问题，我需要50000的并发，是否能给我推荐一个可靠的硬件配置方案，这种情况下，如果你是一个专业的IT集成商，肯定是没有问题，但是如果你是一个GIS软件平台厂商，我们最大的优势是GIS软件，但是牵涉到硬件方面的知识，可能就比较捉襟见肘，特别是在如今硬件快速发展的情况下，我们可能也听说过很多相关的词汇，这些词汇也是可以证明提供性能的：SAN、SSD、PCI-e、IOPS、InifiniBand....，这些东西到底是做什么的？他们之间到底是什么联系呢？

今天我们就展开这个话题，坦白的说，本人也不是专业的硬件专业人士，只是将本人以前遇到的某些困惑，或者是可能比较模糊的概念又重新进行了总结，给大家做一个分享和普及，这些知识并不需要往什么进行描述，知识让大家弄清楚这些东西是做什么呢？至少能够给用户提供一个比较合适的建议或者也能够跟用户涉及到这方面的知识进行交流。

一提到硬件，我们最直接的说法就是CPU核数多点，CPU主频高点，内存大点，稍微专业点可能会涉及到内存的二级缓存大点，是DDR3、DDR4...，硬盘大点，硬盘转速高点，也就这么多了，但是如今公认的说法就是制约性能的因素有两个，磁盘读写IO和网络传输IO，这两个是非常致命的问题，磁盘读写的发展远远跟不上CPU和内存的发展，而网络也是常被初级或者中级非硬件专业用户所忽视的问题，今天我们就开始第一个话题——存储。

我一开始也会被存储这两个字搞晕，所以的存储有时候理解为硬盘，有时候会理解为一个厂商的专业产品，这些也对，也不全对。

我们先以存储厂商来说吧，现在比较知名的存储厂商包括EMC、HDS，IBM、HP，当然国内华为、浪潮也有自己的存储，所谓存储就是存储数据的介质，那么这些介质是由硬盘组成的，那么现在这些硬盘包括哪几种呢？

主机接口标准

首先我们看一下常见的主机接口标准有哪些？都有什么各自的特点：

• SCSI（Small Computer System Interface):小型计算机系统接口标准。
• iSCSI(Internet SCSI)：通过TCP/IP协议传输SCSI指令和数据包的一种标准。iSCSI技术可以用TCP/IP网络组建存储区域网络（SAN）。
• FC（FIBRE CHANNEL），用光纤通道进行网络数据传输的一种通用的接口标准。
• SAS(Serial Attached SCSI)即串行连接SCSI，是新一代的SCSI技术，和现在流行的Serial ATA(SATA)硬盘相同，都是采用串行技术以获得更高的传输速度，并通过缩短连结线改善内部空间等。SAS是并行SCSI接口之后开发出的全新接口。此接口的设计是为了改善存储系统的效能、可用性和扩充性，并且提供与SATA硬盘的兼容性。

硬盘

现在主流的硬盘包括IDE、SATA盘、SAS盘、FC盘等.

SATA磁盘，采用串行ATA接口技术的磁盘，目前版本是SATA3.0。一般情况下我们的台式机配的硬盘就是SATA盘，包括有5400转、7200转或者万转的，当然一些企业单位的服务器也会使用SATA盘做磁盘阵列，不过随着SAS盘的越来越成熟，企业级服务器一般都已SAS磁盘为主流了。


SAS磁盘，现在主流的服务器硬盘都是SAS盘，如今存储发展速度很快，SAS盘在性能、价格、稳定性、扩展性都非常好，现在是主流的磁盘存储介质，包括Oracle Exadata X4的存储节点还配备的是SAS磁盘。


SSD：固态硬盘，相比较磁盘阵列的基础是磁盘，由于磁盘存在寻道时间开销，所以非常不擅长处理随机I/O，因为过多寻道势必影响阵列的性能。所以，磁盘阵列设计的核心就是尽可能处理连续I/O。与之相比，SSD的优势是延迟低，可以理解为在内存中执行，这也是SSD速度飞快的原因。


FC磁盘，就是以FC接口的磁盘，主要应用于高端存储。

当然，你也会看到例如Oracle Exadata X5的新特性，存储节点采用全闪存存储，华为的一体机存储分为全SSD（PCI-e SSD）和SAS盘加SSDCache的方式，其实这些也就是将前面的单个材质/接口进行了技术革新。

当然，对于磁盘特别是企业级硬盘所需长工作时间外，还要应对超大的数据量访问，所以需要更好的传输速率、更高的可靠性、更低的cpu占用、更低的寻道时间、更高的IOPS（每秒操作数）等等，一般情况下这些功能点实现的越好，价格自然越贵。

注意：由于特别丰富的磁盘测试和实施经验，并没有特别说明各个磁盘的读写速度，我也看到网络上发布的相关读写速度数据，但是这些数据一方面都是比较老的数据，另一方面都不是特别权威和有说服力，还有并不是同一级别的产品对比，所以我也无法判别该数据是否有可参考性。

但是理论上来说，SSD好过SAS，SAS好过SATA。而现在高端存储一般为全闪存+SAS。

硬盘技术指标

平均寻道时间是指MO磁光盘机在接收到系统指令后，磁头从开始移动到移动到数据所在磁道所需要的平均时间，它是指计算机在发出一个寻址命令，到相应目标数据被找到所需时间，单位为毫秒(ms)。例如：转速为7200 转/秒应为7200 转/分； 传输速度为4MB/s~=4kB/ms ；每扇区传输时间为0.512/4=0.128 ；转速7200/min=120/s ；则转一圈为1/120 秒＝8.33ms ；读或写一扇最快为不需旋转迟，即0 秒；最慢为需旋转一圈，即8.33秒，平均4.167 秒; 11.3ms=平均寻道时间+4.2+0.1+1ms ；平均寻道时间=6ms。

转速(Rotationl Speed)，是硬盘内电机主轴的旋转速度，也就是硬盘盘片在一分钟内所能完成的最大转数。转速的快慢是标示硬盘档次的重要参数之一，它是决定硬盘内部传输率的关键因素之一，在很大程度上直接影响到硬盘的速度。硬盘的转速越快，硬盘寻找文件的速度也就越快，相对的硬盘的传输速度也就得到了提高。硬盘转速以每分钟多少转来表示，单位表示为RPM，RPM是Revolutions Perminute的缩写，是转/每分钟。RPM值越大，内部传输率就越快，访问时间就越短，硬盘的整体性能也就越好。对于SSD这种存储是没有主轴转速指标的。

内部数据传输率（Internal Transfer Rate）是指硬盘磁头与缓存之间的数据传输率，简单的说就是硬盘将数据从盘片上读取出来，然后存储在缓存内的速度。内部传输率可以明确表现出硬盘的读写速度，它的高低才是评价一个硬盘整体性能的决定性因素，它是衡量硬盘性能的真正标准。

外部数据传输率(External Transfer Rate)，一般也称为突发数据传输或接口传输率。是指硬盘缓存和电脑系统之间的数据传输率，也就是计算机通过硬盘接口从缓存中将数据读出交给相应的控制器的速率。

磁盘阵列和RAID

当然，上面只是介绍了不同种类的磁盘，一般在企业级都是要将多块盘组成阵列，最直接的考虑就是可以扩大容量，另外，我们为了保证数据的访问效率、容错等，我们需要在磁盘阵列进行RAID。

RAID是一种磁盘集群技术,很早以前就开始使用在大型系统之中.用户可以自由定义数据的保存方式, 可以采用数据镜像(在不同磁盘上保存数据拷贝), 条带集(数据交叉保存在多个磁盘上), 还有奇偶校验保护(记录额外的数据以识别错误), 这些技术可以根据用户对性能和可靠性的要求单独或联合使用.

关于RAID，就不再过多赘述了，这个大家应该都比较了解。

存储架构

当然，上面我们已经简单理解了存储的概念，那么在一个企业级环境下，我们怎么来使用存储呢，这里面需要了解存储的架构，主流的架构包括DAS、NAS、SAN。

DAS（Direct Attached Storage）直接附加存储，直接附加存储是指将存储设备通过总线（SCSI、PCI、IDE等）接口直接连接到一台服务器上使用。DAS购置成本低，配置简单，因此对于小型企业很有吸引力。 

DAS存在问题：

• 1. 服务器本身容易成为系统瓶颈；
• 2. 服务器发生故障，数据不可访问；
• 3. 对于存在多个服务器的系统来说，设备分散，不便管理。同时多台服务器使用DAS时，存储空间不能在服务器之间动态分配，可能造成相当的资源浪费；
• 4. 数据备份操作复杂。

NAS（Network Attached Storage）网络附加存储。在NAS存储结构中，存储系统不再通过I/O总线附属于某个服务器或客户机，而直接通过网络接口与网络直接相连，由用户通过网络访问。 NAS实际上是一个带有瘦服务器的存储设备，其作用类似于一个专用的文件服务器。这种专用存储服务器去掉了通用服务器原有的不适用的大多数计算功能，而仅仅提供文件系统功能。与传统以服务器为中心的存储系统相比，数据不再通过服务器内存转发，直接在客户机和存储设备间传送，服务器仅起控制管理的作用。 

NAS的主要长处：

• NAS适用于那些需要通过网络将文件数据传送到多台客户机上的用户。
• NAS设备非常易于部署。
• NAS应用于高效的文件共享任务中。

SAN（Storage Area Network）存储区域网络，是一种高速的、专门用于存储操作的网络，通常独立于计算机局域网（LAN）。SAN将主机和存储设备连接在一起，能够为其上的任意一台主机和任意一台存储设备提供专用的通信通道。SAN将存储设备从服务器中独立出来，实现了服务器层次上的存储资源共享。SAN将通道技术和网络技术引入存储环境中，提供了一种新型的网络存储解决方案，能够同时满足吞吐率、可用性、可靠性、可扩展性和可管理性等方面的要求。

SAN主要包括两种：FC-SAN和IP-SAN。

FC-SAN 通常SAN由磁盘阵列（RAID）连接光纤通道（Fibre Channel）组成（为了区别于IP SAN，通常SAN也称为FC-SAN）。SAN和服务器和客户机的数据通信通过SCSI命令而非TCP/IP，数据处理是“块级”（block level）。SAN也可以定义为是以数据存储为中心，它采用可伸缩的网络拓扑结构，通过具有高传输速率的光通道的直接连接方式，提供SAN内部任意节点之间的多路可选择的数据交换，并且将数据存储管理集中在相对独立的存储区域网内。SAN最终将实现在多种操作系统下，最大限度的数据共享和数据优化管理，以及系统的无缝扩充。 FC-SAN的组成 在FC-SAN中，有一些专用的硬件和软件。硬件包括FC卡、FC HUB、FC交换机、存储系统等，软件主要是FC控制卡针对各种操作系统的驱动程序和存储管理软件。

IP-SAN 简单来讲，IP-SAN（IP存储）的通信通道是使用IP通道，而不是光纤通道，把服务器与存储设备连接起来的技术，除了标准已获通过的iSCSI，还有FCIP、iFCP等正在制定的标准。而iSCSI发展最快，已经成了IP存储一个有力的代表。

总结：相对来说DAS有点类似我们的笔记本挂一个移动硬盘，这个肯定不能满足企业级最起码的共享的需求。在企业级最常用的就是NAS，但是NAS最大的缺点就是网络传输的影响，相对来说最优的选择是SAN，专有网络肯定是可以保证传输的速度的，而且FC-SAN是当今最先进、效率最高的网络架构，当然价格也是最贵的。

其他

现在一般服务器的网络都会听到InifiniBand，特别是最早的Oracle Exadata的Infiniband的40GB/s的速度，不过现在很多厂商的一体机都引入了infiniband。

InfiniBand是一个统一的互联结构，既可以处理存储I/O、网络I/O，也能够处理进程间通信(IPC)。它可以将磁盘阵列、SANs、LANs、服务器和集群服务器进行互联，也可以连接外部网络（比如WAN、VPN、互联网）。设计InfiniBand的目的主要是用于企业数据中心，大型的或小型的。目标主要是实现高的可靠性、可用性、可扩展性和高的性能。InfiniBand可以在相对短的距离内提供高带宽、低延迟的传输，而且在单个或多个互联网络中支持冗余的I/O通道，因此能保持数据中心在局部故障时仍能运转。