[转载]MD3200磁盘阵列及存储知识点笔记

最新推荐文章于 2021-08-10 09:00:18 发布

weixin_34375054

最新推荐文章于 2021-08-10 09:00:18 发布

阅读量649

点赞数

原文链接：http://blog.51cto.com/xingyun/511824

版权

目录：
=============================================================
MD3200存储知识分享
=============================================================

————————————————————-
1 基础知识点
————————————————————-

1.1 按结构

存储数据的方式常见的有三种：DAS/NAS/SAN

1.1.1 DAS

1．DAS(Direct-Attached Storage) 即直接连接存储技术，此为以主机为中心的传统存储方式，现在在各大银行的中心业务系统中常能见到这种方式。

1.1.2 NAS

2．NAS (Network Attached Storage) 即网络附加存储方式，此为以专业的网络文件存储及文件备份为中心的方式，是现在以文件存储为主的一种存储方式。

1.1.3 SAN

3．SAN(Stroage Area Network) 即存储局域网，指独立于异构计算网络系统之外几乎拥有无限存储容量的高速网络。其采用高速的光纤通道作为传输媒介，1)XFCP+SCSI协议作为存储访问协议，将存储子系统网络化、开放化、虚拟化、智能化，实现真正的高速、安全、共享存储，是今后主流存储模式。

1.1.3.1 FC-SAN

1.1.3.2 IP-SAN

1.2 双控

1.2.1 控制器

RAID 控制器模块

RAID 控制器模块提供了高性能、高级虚拟磁盘配置以及容错式磁盘子系统管理。每个 RAID 控制器模块包含 2 GB 高速缓存，并使用其他控制器的高速缓存制作该高速缓存的镜像以实现高可用性，同时该高速缓存还受到电池供电的高速缓存卸载机件的保护。

RAID 控制器模块提供以下数据路径和机柜管理功能：

监测和控制存储设备环境要素（温度、风扇、电源设备和存储设备 LED）

控制对物理磁盘的访问

将机柜属性和状态报告给主机服务器和管理工作站

每个 RAID 控制器模块均具有多个用于主机访问的 SAS IN 端口。这些端口提供了冗余主机连接并支持高可用性存储环境。用户能以单控制器（单工）和双控制器（双工）模式利用各种配置，将存储柜连接至主机，具体取决于所需冗余。

1.2.2 电池和缓存

1.2.2.1 电池

电池备份单元

每个 RAID
控制器均含有两芯锂离子纳米聚合物电池备份单元（BBU）。停电时，可向
RAID
控制器模块提供电力，请参阅
RAID
控制器模块备用电池装置。

对于虚拟磁盘，RAID
控制器固件将根据电池状态更改电池高速缓存设置。如果电池缺失或是没有足够电量，控制器会清除高速缓存并对所有虚拟磁盘将写入高速缓存属性设置为直写式。如果替换了电池，则会重新启用回写。

1.2.2.2 缓存

高速缓存的功能和特点

高速缓存镜像

高速缓存镜像功能可将已接收的主机写入数据从主控制器复制到辅助控制器。该操作可确保成功完成状态返回主机之前，将主机写入数据安全地映射到辅助控制器。如果控制器出现故障，其余控制器则会安全地保留所有映射数据。高速缓存默认启用。

回写式高速缓存

在回写式高速缓存中，写入操作会导致高速缓存一旦收到要写入的数据，便向主机操作系统发送完成信号。目标物理磁盘将在更适当的时间接收数据以提高控制器性能。当您采用已启用回写式高速缓存的双活动控制器配置时，在将完成状态发送给主机启动程序之前，写入数据始终会映射至第二控制器的高速缓存。回写式高速缓存默认启用，除非禁用了高速缓存镜像。

直写式高速缓存

在直写式高速缓存中，在将完成状态返回主机操作系统之前，会将数据写入物理磁盘。由于直写式高速缓存在发生电源故障时不易导致数据丢失，因此一般认为它比回写式高速缓存更为可靠。如果禁用高速缓存镜像或缺少电池或存在故障，RAID 控制器便会自动切换至直写式。

1.3 硬盘类型

PATA/SATA/SCSI/SAS/FC

1.3.1 FC

FC硬盘

FC硬盘是指采用FC-AL( Fiber Channel Arbitrated Loop，光纤通道仲裁环) 接口模式的磁盘。FC-AL使光纤通道能够直接作为硬盘连接接口，为高吞吐量性能密集型系统的设计者开辟了一条提高I/O性能水平的途径。目前高端存储产品使用的都是FC接口的硬盘。

FC硬盘名称由于通过光学物理通道进行工作，因此起名为光纤硬盘，现在也支持铜线物理通道。就像是IEEE-1394, Fibre Channel 实际上定义为SCSI-3标准一类，属于SCSI的同胞兄弟。作为串行接口FC-AL峰值可以达到2Gbits/s甚至是4Gbits/s。而且通过光学连接设备最大传输距离可以达到10KM。通过FC-loop可以连接127个设备，也就是为什么基于FC硬盘的存储设备通常可以连接几百颗甚至千颗硬盘提供大容量存储空间。

关于光纤硬盘以其的优越的性能、稳定的传输，在企业存储高端应用中担当重要角色。业界普遍关注的焦点在于光纤接口的带宽。最早普及使用的光纤接口带宽为1Gb，随后2Gb带宽光纤产品统治市场已经长达三年时间。现在的带宽标准是4Gb，目前普遍厂商都已经采用4Gb相关产品。8Gb光纤产品也将在不久的将来取代4Gb光纤成为市场主流。

4Gb是以2Gb为基础延伸的传输协议，可以向下兼容1Gb和2Gb，所使用的光纤线材、连接端口也都相同，意味着使用者在导入4Gb设备时，不需为了兼容性问题更换旧有的设备，不但可以保护既有的投资，也可以采取渐进式升级的方式，逐步淘汰旧有的2Gb设备。

1.3.2 SAS

SAS硬盘

SAS 是Serial Attached SCSI的缩写，即串行连接SCSI。和现在流行的Serial ATA(SATA)硬盘相同，都是采用串行技术以获得更高的传输速度，并通过缩短连结线改善内部空间。SAS是新一代的SCSI技术。SAS是并行SCSI接口之后开发出的全新接口。此接口的设计是为了改善存储系统的效能、可用性和扩充性，提供与串行ATA (Serial ATA，缩写为SATA)硬盘的兼容性。

SAS技术还有简化内部连接设计的优势，存储设备厂商目前投入相当多的成本以支持包括光纤通道阵列、SATA阵列等不同的存储设备，而SAS连接技术将可以通过共用组件降低设计成本。

为保护用户投资，SAS的接口技术可以向下兼容SATA。SAS系统的背板(Backplane)既可以连接具有双端口、高性能的SAS驱动器，也可以连接高容量、低成本的SATA驱动器。过去由于SCSI、ATA分别占领不同的市场段，且设备间共享带宽，在接口、驱动、线缆等方面都互不兼容，造成用户资源的分散和孤立，增加了总体拥有成本。而现在，用户即使使用不同类型的硬盘，也不需要再重新投资，对于企业用户投资保护来说，实在意义非常。但需要注意的是，SATA系统并不兼容SAS，所以SAS驱动器不能连接到SATA背板上。

SAS 使用的扩展器可以让一个或多个 SAS 主控制器连接较多的驱动器。每个扩展器可以最多连接 128 个物理连接，其中包括其它主控连接，其它 SAS 扩展器或硬盘驱动器。这种高度可扩展的连接机制实现了企业级的海量存储空间需求，同时可以方便地支持多点集群，用于自动故障恢复功能或负载平衡。目前，SAS接口速率为3Gbps，其SAS扩展器多为12端口。不久，将会有6Gbps甚至12Gbps的高速接口出现，并且会有28或36端口的SAS扩展器出现以适应不同的应用需求。其实际使用性能足于光纤媲美。

由于SAS由SCSI发展而来，在主机端会有众多的厂商兼容。SAS采用了点到点的连接方式，每个SAS端口提供3Gb带宽，传输能力与4Gb光纤相差无几，这种传输方式不仅提高了高可靠性和容错能力，同时也增加了系统的整体性能。在硬盘端，SAS协议的交换域能够提供16384个节点，而光纤环路最多提供126个节点。而兼容SATA硬盘所体现的扩展性是SAS的另一个显著优点，针对不同的业务应用范围，在硬盘端用户可灵活选择不同的存储介质，按需降低了用户成本。

在SAS接口享有种种得天独厚的优势的同时，SAS产品的成本从芯片级开始，都远远低于FC，而正是因为SAS突出的性价比优势，使SAS在硬盘接口领域，给光纤存储带来极大的威胁。

1.3.3 SATA

SATA硬盘

传统的并行ATA（PATA）技术曾经在低端的存储应用中有过光辉的岁月，但由于自身的技术局限性，逐步被串行总线接口协议（Serial ATA，SATA）所替代。SATA以它串行的数据发送方式得名。在数据传输的过程中，数据线和信号线独立使用，并且传输的时钟频率保持独立，因此同以往的PATA相比，SATA的传输速率可以达到并行的30倍。可以说：SATA技术并不是简单意义上的PATA技术的改进，而是一种全新的总线架构。

从总线结构上，SATA 使用单个路径来传输数据序列或者按照bit来传输，第二条路径返回响应。控制信息用预先定义的位来传输，并且分散在数据中间，以打包的格式用开/关信号脉冲发送，这样就不需要另外的传输线。SATA带宽为16-bit。并行Ultra ATA总线每个时钟频率传输16bit数据，而SATA仅传输1bit，但是串行总线可以更高传输速度来弥补串行传输的损失。SATA将会引入1500Mbits/sec带宽或者1.5Gbits/sec带宽。由于数据用8b/10b编码，有效的最大传输峰值是150Mbytes/sec。

目前能够见到的有SATA-1和SATA-2两种标准，对应的传输速度分别是150MB/s和300MB/s。从速度这一点上，SATA已经远远把PATA硬盘甩到了后面。其次，从数据传输角度上，SATA比PATA抗干扰能力更强。此外，串口的数据线由于只采用了四针结构，因此相比较起并口安装起来更加便捷，更有利于缩减机箱内的线缆，有利散热。

尽管SATA在诸多性能上远远优越于PATA，甚至在某些单线程任务的测试中，表现出了不输于SCSI的性能，然而它的机械底盘仍然为低端应用设计的，在面对多线程的传输任务时，相比SCSI硬盘，仍然显得力不从心。

1.3.4 优势总结

SAS带来了哪些技术优势(超强的传输速度就不多说了)。

SAS带来的好处首先来自于创新的线缆架构。在系统内部采用比SCSI更细、针脚更少的SATA线缆，有助于服务器厂商更好地解决气流和散热问题。而且，用于外部存储的SAS线缆也比目前的并行SCSI线缆要细也更便宜，并跟InfiniBand的插头标准一致，从而有益于简化机房管理。节省了空间，从而提高了使用SAS硬盘服务器的散热、通风能力。

SAS 技术降低了磁盘阵列的成本。具备简化内部连接设计的优势，可以通过共用组件降低设计成本。这样就可以花更少的钱享受SCSI接口的性能。

串行接口让传输性能提高。每个传输通道都是在全双工方式下进行的，性能要比传统SCSI更高。

SAS结构有非常好的扩展能力，通过SAS Expander最多可以连接16384个磁盘设备。

SAS接口使存储系统应用更加灵活，可以根据实际需求选择SAS磁盘或者SATA磁盘。

如果需要应用于I/O负载较轻的应用比如文件共享、FTP、音频存储、数据备份等可以考虑基于SATA硬盘的阵列。如果I/O负载较重的FTP、VOD、EMAIL、Web、数据库应用，那么可以考虑基于SAS/FC硬盘的存储系统。

SAS类存储用于中小规模的数据库。从成本、稳定性、扩展性等各个方面考虑选择的。
目前最高传输速率为6Gb。

1.4 多路径

多控制器控制单个逻辑卷需要配置优先级，所以就需要有配置多路径。否则阵列无法确认各个链路对磁盘的控制权。

1.5 RAID级别

1.5.1 RAID级别

RAID 级别

RAID 级别定义数据写入物理磁盘的方式。不同的 RAID 级别提供不同的可访问性、冗余和容量级别。

与使用单个物理磁盘相比，使用多个物理磁盘有以下优势：

将数据置于多个物理磁盘（条带）上可让输入/输出（I/O）操作同时发生，并且改善性能。

如果发生错误，则使用镜像或奇偶校验在多个物理磁盘上存储冗余数据以支持重建丢失的数据，即使错误是由物理磁盘的故障引起的。

每个 RAID 级别提供不同的性能和保护。应该根据应用程序类型、访问权限、容错能力和正在存储的数据来选择 RAID 级别。

存储阵列支持 RAID 级别 0、1、5、6 和 10。磁盘组中可使用的最大物理磁盘数目取决于 RAID 级别：

RAID 0、1 和 10 为 96 个

RAID 5 和 6 为 30 个

RAID 级别的用法

为确保最佳性能，可在创建系统物理磁盘时选择最佳 RAID 级别。磁盘阵列的最佳 RAID 级别取决于：

磁盘阵列中的物理磁盘的数目

磁盘阵列中的物理磁盘的容量

数据冗余访问的需要（容错能力）

磁盘性能要求

RAID 0

RAID 0 使用磁盘分拆提供高数据吞吐量，尤其适用于不需要数据冗余的环境中的大型文件。RAID 0 将数据划分为各个数据段，并将每个数据段写入单独的物理磁盘。这样可通过将 I/O 负载分散到多个物理磁盘上来大幅提高 I/O 性能。尽管在所有 RAID 级别中 RAID 0 可提供最佳的性能，但是它缺少数据冗余。该项仅用于对数据安全性要求不高的场合，因为一个物理磁盘的故障会导致丢失所有数据。RAID 0 应用程序的示例包括视频编辑、图像编辑、印前应用程序或任何需要高带宽的应用程序。

RAID 1

RAID 1 使用磁盘镜像，因此可以将写入一个物理磁盘的数据同时写入另一个物理磁盘。该 RAID 级别提供最快的性能和最佳的数据可用性，但是磁盘开销也最高。对于小型数据库或其他对容量要求不高的应用程序（例如结帐、工资单或财务应用程序），则建议使用 RAID 1。RAID 1 提供完全数据冗余。

RAID 5

RAID 5 在所有物理磁盘中使用奇偶校验和分拆数据（分布式奇偶校验）以提供高数据吞吐量和数据冗余，这尤其适用于小型随机存取。RAID 5 是通用的 RAID 级别，适合多用户环境，其中典型 I/O 大小较小且大部分是读取动作，例如文件、应用程序、数据库、web、电子邮件、新闻和内部网服务器。

RAID 6

RAID 6 与 RAID 5 相似，但是可提供额外的奇偶校验磁盘以实现更佳的冗余。RAID 6 是最通用的 RAID 级别并且适合多用户环境，其中典型 I/O 大小较小且大部分是读取动作。如果使用了较大的物理磁盘或者在磁盘组中使用了大量物理磁盘，则建议使用 RAID 6。

RAID 10

RAID 10 是 RAID 1 和 RAID 0 的组合，使用跨镜像磁盘范围的磁盘分拆技术。它可以提供高数据吞吐量和完整数据冗余。使用偶数数目的物理磁盘（四个或更多）创建 RAID 级别 10 磁盘组和/或虚拟磁盘。因为 RAID 级别 1 和 10 使用磁盘镜像，所以物理磁盘有一半的容量会用于镜像。同时将另一半物理磁盘容量用于实际存储。在使用四个或更多的物理磁盘时，如果选择了 RAID 级别 1，则会自动使用 RAID 10。RAID 10 很适合中型数据库，或者任何需要高性能和容错能力以及适度到中等容量的环境。

1.5.2 分段大小

分段大小

磁盘分拆可实现在多个物理磁盘上写入数据。由于会同时访问分拆的磁盘，因此磁盘分拆可增强性能。

分段大小或磁条元素大小指定写入单个磁盘的磁条中的数据大小。MD3200 系列阵列支持的磁条元素大小为 8、16、32、64、128、256 和 512 KB。默认的磁条元素大小为 128 KB。

磁条宽度或深度与实施分拆的阵列中涉及的磁盘数目相关。例如，实施磁盘分拆且包含四个磁盘的磁盘组的磁条宽度为四。

注：尽管磁盘分拆可实现出色的性能，但分拆本身并不提供数据冗余。

1.6 电源和散热

1.7 lun号

逻辑卷号，类似于C/D/E类的盘符。

lun的全称是logical unit number，也就是逻辑单元号。我们知道scsi总线上可挂接的设备数量是有限的，一般为6个或者15个，我们可以用target ID(也有称为scsi id的)来描述这些设备，设备只要一加入系统，就有一个代号，我们在区别设备的时候,只要说几号几号就ok了。
而实际上我们需要用来描述的对象，是远远超过该数字的，于是我们引进了lun的概念，也就是说lun id的作用就是扩充了target id。每个target下都可以有多个lun device，我们通常简称lun device为lun，这样就可以说每个设备的描述就有原来的target x变成target x lun y了,那么显而易见的,我们描述设备的能力增强了.就好比,以前你给别人邮寄东西,写地址的时候,可以写:
xx市人民大街54号 xxx(收)
但是自从高楼大厦越来越多,你不得不这么写:
xx市人民大街54号xx大厦518室 xxx (收)
所以我们可以总结一下,lun就是我们为了使用和描述更多设备及对象而引进的一个方法而已,一点也没什么特别的地方.

1.8 HBA卡

1.8.1 HBA卡

用于转换SAS信号（当然也有光纤HBA卡，用于转换光信号）

常规定义：就是连接主机I/O总线和计算机内存系统的I/O适配器。

按照这个定义，像显卡就是连接视频总线和内存，网卡就是连接网络总线和内存，SCSI-FC卡就是连接SCSI或者FC总线和内存的，它们都应该算是HBA。

HBA卡有SAS HBA、FC-HBA和iSCSI HBA卡，但是，HBA通常用在SCSI。Adapter(适配器)和NIC用于FC；而NIC也会用于以太网和令牌环网。

其实，网卡是大家常提到的一个类型设备的总称，是指安装在主机里，通过网络连接线（双绞线、光纤线缆、同轴电缆等）与网络交换机（以太网交换机、FC交换机、ISCSI交换机等）、或与其它网络设备（存储设备、服务器、工作站等）连接，从而形成一个网络的硬件设备。

1.8.2 容易混淆的概念

光纤网卡这个称呼到底是不是指光纤口HBA卡呢？

实际上常说的光纤网卡指的就是光纤通道网络里的HBA卡。

因传输协议的不同的，网卡可分为三种，一是以太网卡，二是FC网卡，三是iSCSI网卡。

•以太网卡：学名Ethernet Adapter,传输协议为IP协议,一般通过光纤线缆或双绞线与以太网交换机连接。接口类型分为光口和电口。光口一般都是通过光纤线缆来进行数据传输，接口模块一般为SFP（传输率2Gb/s）和GBIC（1Gb/s）,对应的接口为SC、ST和LC。电口目前常用接口类型为RJ45,用来与双绞线连接，也有与同轴电缆连接的接口，不过现在已经用的比较少了。

•FC网卡：一般也叫光纤网卡，学名Fibre Channel HBA。传输协议为光纤通道协议，一般通过光纤线缆与光纤通道交换机连接。接口类型分为光口和电口。光口一般都是通过光纤线缆来进行数据传输，接口模块一般为SFP（传输率2Gb/s）和GBIC（1Gb/s）,对应的接口为SC和LC。电口的接口类型一般为DB9针或HSSDC。

•ISCSI网卡：学名ISCSI HBA，传输ISCSI协议，接口类型与以太网卡相同。

区别如下：
•HBA卡：FC-HBA卡（俗称：光纤网卡）、iSCSI-HBA卡（RJ45接口）、SAS-HBA卡（SAS接口）
•以太网卡：光纤接口的以太网卡（俗称：光纤以太网卡）

————————————————————-
2 管理配置
————————————————————-

2.1 管理程序

2.1.1 MDSM

支持linux和windows下管理

2.1.2 安装、使用

2.2 管理方法

2.2.1 映射

映射:配置主机访问权限

使用映射选项

可以在 mappings（映射）选项卡中：

定义主机和主机组

添加选定主机组的映射

创建主机并分配别名或用户标签。

将新的主机端口标识符添加或关联到特定主机。

更改主机端口标识符别名或用户标签。

将主机端口标识符移动或关联到其他主机。

用新的主机端口标识符替换现有主机端口标识符。

手动激活非活动的主机端口以便该端口能够存取特定于主机或主机组的 LUN 映射。

将主机端口类型设置为其他类型。

将主机从一个主机组移动到另一主机组。

删除主机组、主机或主机端口标识符。

重命名主机组或主机。

2.2.2 带内管理

2.2.3 带外管理

2.2.4 卸载硬件

2.3 多路径配置

2.3.1 RedHat5.5默认支持

检测路径故障并将 I/O 重新路由至其他可用路径

在路径恢复后重新验证有故障的路径

利用多个可用路径使性能最大化

根据路径状态和错误条件重新配置路径使用

将多个设备节点统一为单个逻辑多路径设备节点

识别新的多路径 LU 并自动配置新的多路径节点

在 /dev/mapper/ 下为 DM 设备提供永久的设备名称

2.3.2 /dev/mapper下

[root@racnode2 ~]# ls -lah /dev/mapper/
total 0
drwxr-xr-x 2 root root 220 Sep 17 17:36 .
drwxr-xr-x 14 root root 4.4K Sep 17 17:37 ..
crw——- 1 root root 10, 63 Sep 17 17:35 control
brw-rw—- 1 root disk 253, 2 Sep 17 17:36 mpath1
brw-rw—- 1 root disk 253, 6 Sep 17 17:36 mpath1p1
brw-rw—- 1 root disk 253, 3 Sep 17 17:36 mpath2
brw-rw—- 1 root disk 253, 5 Sep 17 17:36 mpath2p1
brw-rw—- 1 root disk 253, 4 Sep 17 17:36 mpath3
brw-rw—- 1 root disk 253, 7 Sep 17 17:36 mpath3p1
brw-rw—- 1 root disk 253, 0 Sep 17 17:36 VolGroup00-LogVol00
brw-rw—- 1 root disk 253, 1 Sep 17 17:35 VolGroup00-LogVol01
[root@racnode2 ~]# ls /dev/mapper/
control mpath1 mpath1p1 mpath2 mpath2p1 mpath3 mpath3p1 VolGroup00-LogVol00 VolGroup00-LogVol01
[root@racnode2 ~]# multipath -ll
mpath2 (36842b2b000529134000003e24c902c42) dm-3 DELL,MD32xx
[size=346G][features=3 queue_if_no_path pg_init_retries 50][hwhandler=1 rdac][rw]
\_ round-robin 0 [prio=100][active]
\_ 1:0:1:3 sdg 8:96 [active][ready]
\_ round-robin 0 [prio=0][enabled]
\_ 1:0:0:3 sdc 8:32 [active][ghost]
mpath1 (36842b2b000529134000003e04c902bf0) dm-2 DELL,MD32xx
[size=10G][features=3 queue_if_no_path pg_init_retries 50][hwhandler=1 rdac][rw]
\_ round-robin 0 [prio=100][active]
\_ 1:0:1:2 sdf 8:80 [active][ready]
\_ round-robin 0 [prio=0][enabled]
\_ 1:0:0:2 sdb 8:16 [active][ghost]
mpath3 (36842b2b000529134000003a34c8ec1e4) dm-4 DELL,MD32xx
[size=900G][features=3 queue_if_no_path pg_init_retries 50][hwhandler=1 rdac][rw]
\_ round-robin 0 [prio=100][active]
\_ 1:0:1:4 sdh 8:112 [active][ready]
\_ round-robin 0 [prio=0][enabled]
\_ 1:0:0:4 sdd 8:48 [active][ghost]
[root@racnode2 ~]#