服务器RAID及配置实战

今天cdsn出了个大乌龙（服务器502），为了几年这个特殊的日子，我来写一下RAID磁盘服务器和他的配置，哈哈哈哈。

一、RAID磁盘阵列与阵列卡

1. RAID磁盘阵列详解

①raid简介

• RAID是英文Redundant Array of Indepehdent Disks的缩写,中文简称为独立冗
  余磁盘阵列。
• 简单的说, RAID是把多块独立的物理硬盘按不同的方式组合起来形成一个硬盘组(逻辑硬盘)，从而提供比单个硬盘更高的存储性能和提供数据备份技术
• 在用户看来，组成的磁盘组就像是一个硬盘 ,用户可以对它进行分区,格式化等等
• 组成磁盘阵列的不同方式成为RAID级别( RAIDLevels )

RAID技术分为几种不同的等级,分别可以提供不同的速度,安全性和性价比。根据实际情况选择适当的RAID级别可以满足用户对存储系统可用性、性能和容量的要求。

常用的RAID级别有以下几种: RAIDO , RAID1RAID5 , RAID6，RAID1+ 0等

②磁盘阵列介绍

RAID 0

1. RAID 0连续以位或字节为单位分割数据,并行读/写于多个磁盘上,因此具有很高的数据传输率但它没有数据冗余,因此并不能算是真正的RAID结构。
2. RAID 0只是单纯地提高性能，并没有为数据的可靠性提供保证,而且其中的一个磁盘失效将影响到所有数据。
3. 因此 ，RAID 0不能应用于数据安全性要求高的场合。

RAID1

1. 通过磁盘数据镜像实现数据冗余,在成对的独立磁盘上产生互为备份的数据。
2. 当原始数据繁忙时,可直接从镜像拷贝中读取数据，因此RAID 1可以提高读取性能。
3. RAID 1是磁盘阵列中单位成本最高的,但提供了很高的数据安全性和可用性。当一个磁盘失效时，系统可以自动切换到镜像磁盘上读写,而不需要重组失效的数据。

RAID 5

1. N(N>=3 )块盘组成阵列，一份数据产生N-1个条带,同时还有1份校验数据,共N份数据在N块盘上循环均衡存储。
2. N块盘同时读写，读性能很高,但由于有校验机制的问题，写性能相对不高。
3. ( N-1 ) /N容量。
4. 可靠性高,允许坏1块盘,不影响所有数据。
   

RAID 6

1. N( N>=4 )块盘组成阵列，( N-2 ) /N容量。
2. 与RAID 5相比, RAID 6增加了第二个独立的奇偶校验信息块。两个独立的奇偶系统使用不同的算法数据的可靠性非常高，即使两块磁盘同时失效也不会影响数据的使用。
3. 但RAID 6需要分配给奇偶校验信息更大的磁盘空间，相对于RAID 5有更大的“写损失”，因此写性能较差。

RAID 1+0

1. N(偶数，N>=4)块盘两两镜像后，再组合成一个RAID 0
2. N/2容量
3. N/2块盘同时写入, N块盘同时读取
4. 性能高，可靠性高
5. 同时坏两块盘不掉数据的概率为3分之2
   

2.阵列卡介绍与真机配置

①阵列卡介绍

1. 阵列卡就是用来实现RAID功能的板卡,通常是由I/O处理器、硬盘控制器、硬盘连接器和缓存等一系列零组件构成的
2. 不同的RAID卡支持的RAID功能不同,例如支持RAID0、RAID1、 RAID5、 RAID10等
3. RAID卡的接口类型：IDE接口、 SCSI接口、SATA接口和SAS接口

②IDE接口

1. IDE 的英文全称为 "Integrated Drive Electronics"即“电子集成驱动器”, 它的本意
   是指把"硬盘控制器”与"盘体”集成在一起的硬盘驱动器。
2. IDE这一接口技术从诞生至今就直在不断发展，性能也不断的提高，特点是价格低廉、兼容性强。
3. IDE口属于并行接口

③SCSI接口

1. SCSI的英文全称为 “Small Computer SystemInterface” ( 小型计算机系统接口)， 是同IDE完全不同的接口，IDE接口是普通PC的标准接口，而SCSI并不是专门为硬盘设计的接口,是一种广泛应用于小型机上的高速数据传输技术。
2. SCSI接口具有应用范围广、多任务、带宽大、CPU占用率低，以及支持热插拔等优点，但较高的价格使得它很难如IDE硬盘般普及,因此SCSI硬盘主要应用于中、高端和高档工作站中。
   

④SATA接口

1. 使用SATA ( Serial ATA )口的硬盘又叫串口硬盘由于采用串行方式传输数据而知名
   Serial ATA 2.0的数据传输率将达到300MB/s ,最终SATA将实现600MB/s的最高数据传输率。

⑤SAS接口

1. SAS是新一代的SCS]技术,和现在流行的SerialATA(SATA)硬盘相同,都是采用串行技术以获得更高的传输速度
2. SAS的接口技术可以向下兼容SATA

⑥阵列卡的缓存

• 缓存( Cache )是RAID卡与外部总线交换数据的场所, RAID卡先将数据传送到缓存,再由缓存和外边数据总线交换数据。它是RAID卡电路板上的一块存储芯片,与硬盘盘片相比,具有极快的存取速度
• 缓存的大小与速度是直接关系到RAID卡的实际传输速度的重要因素,大缓存能够大幅度地提高数据命中率从而提高RAID卡整体性能
• 不同的RAID卡出厂时配备的内存容量不同，一般为几兆到数百兆容量不等

二、构建软raid磁盘阵列

1. 安装mdadm

2. 准备用于RAID阵列的分区

   为Linux服务器添加4块SCSI硬盘 ,并使用fdisk 工具各划分出一块2GB的分区,依次为: /dev/sdb1、/dev/sdc1、/dev/sdd1、/dev/sde1

   将其类型ID更改为 “fd"对应为"Linux raid autodetect”，表示支持用于RAID磁盘阵列

3. 创建RAID设备

4. 在RAID设备中建立文件系统

5. 挂载并使用文件系统

*mdadm -Cv /dev/md0 -a yes -n4 -l5 /dev/sd[bcde]1

*mdadm -Cv /dev/md0 -a yes -n4 -l5 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1

RAID阵列的管理及设备恢复
扫描或查看磁盘阵列信息
启动/停止RAID阵列
设备恢复操作
模拟阵列设备故障
更换故障设备,并恢复数据

三、创建软RAID磁盘阵列步骤:

1、检查是否已安装mdadm软件包

检查安装mdadm

rpm -q mdadm 
yum install -y mdadm

2、使用fdisk.工具将新磁盘设备/dev/sdb、 /dev/sdc、 /dev/sdd、 /dev/ sde

划分出主分区sdbl、sdc1、 sdd1、 sdel， 并且把分区类型的ID标记号改为"fd"

fdisk /dev/ sdb
fdisk /dev/ sdc
fdisk /dev/ sdd
fdisk /dev/sde

3、创建RAID设备

#创建RAID5

mdadm -C -v /dev/md0 -15 -n3 /dev/sd [bcd]1 -x1 /dev/ sde1

• 命令字
  -C:表示新建;
  -v:显示创建过程中的详细信息。
  /dev/md0: 创建RAID5的名称。
  -l: 指定RAID的级别，15表示创建RAID5。 .
  -n:指定使用几块硬盘创建RAID，n3表示使用3块硬盘创建RAID。
  /dev/sd [bcd]1: 指定使用这3块磁盘分区去创建RAID。
  -x:指定使用几块硬盘做RAID的热备用盘，x1表示保留1块空闲的硬盘作备用
  /dev/sde1: 指定用作于备用的磁盘
  #创建RAID10 (先做镜象，再做条带)

• #创建RAID10 (先做镜象，再做条带)

mdadm -Cv /dev/md0 -11 -n2 /dev/sd [bc]1
mdadm -Cv /dev/md1 -11 -n2 /dev/sd[de]1
mdadm -Cv /dev/md10 110 -n2 /dev /md0/dev/md1

• 查看RAID磁盘详细信息
  cat /proc/mdstat #还能查看创建RAID的进度
  或者
  mdadm -D /dev/md0
• 用watch命令来每隔-一段时间刷新/proc/mdstat的输 出
  watch -n 10 ’ cat /proc/mdstat ’
• 检查磁盘是否EL做RAID.
  mdadm -E /dev/sd[b-e] 1

4、创建并挂载文件系统

mkfs -t xfs /dev/imd0
mkdir /myraid
mount /dev/md0 /myraid/
df -Th
cp /etc/ fstab /etc/fstab.bak
vim /etc/fstab
/dev/md0             /myraid     xfs   defaults     0 0

5、实现故障恢复

mdadm /dev/md0 -f /dev/sdb1   #模拟/dev/sdb1故障
mdadm -D /dev/md0   #查看发现sde1已顶替sdb1

6、 创建/etc/mdadm.conf 配置文件

方便管理软RAID的配置，比如启动、停止

echo 'DEVICE /dev/sdc1 /dev/sdb1 /dev/sdd1 /dev/sde1' > /etc/mdadm.conf

mdadm命令其它常用选项
-r: 移除设备
-a:添加设备mdadm /dev/md0 -f /dev/sdb1
-S: 停止RAID
-A: 启动RAID
-f：模拟故障

mdadm /dev/md0 -f /dev/sdb1
mdadm /dev/md0 -r /dev/ sdb1
mdadm /dev/md0 -a /dev/ sde1

停止前需要创建配置文件否则无法再次启动
echo 'DEVICE /dev/sdc1 /dev/sdb1 /dev/sdd1 /dev/sde1' > /etc/mdadm.conf
[root@kgc ~]# mdadm --detail --scan >> /etc/mdadm.conf

umount /dev/md0
mdadm -S /dev/md0
mdadm -As /dev/md0
#-s: 指查找/etc/mdadm.conf 文件中的配置信息

所以你4块盘的RAID5，可用容量为：500G*(4-1)=1500G=1.5T

软Raid–mdadm命令

-C：等同于 create，表示新建； 
-v：显示创建过程中的信息； 
/dev/md0：创建 RAID5 的名称； 
-a：--auto，表示通知 mdadm 是否创建设备文件，并分配一个未使用的次设备号， 
后面跟 yes 代表如果有什么设备文件没有存在的话就自动创建；
-n：指定使用几块硬盘创建 RAID，n4 表示使用 4 块硬盘创建 RAID；
-l：指定 RAID 的级别，l5 表示创建 RAID5； 
/dev/sd[bcde]1：指定四块磁盘分区。查看 RAID5 创建结果。
x 指明空闲盘的个数

rpm -qa mdadm
fdisk -l | grep ‘/dev’

RAID0 实验 创建两块盘

mdadm -Cv /dev/md0 -n2 -l0 /dev/sd[b,c]1
mdadm -D /dev/md0
mkfs.xfs /dev/md0
mkdir /opt/md0
mount /dev/md0 /opt/md0

RAID1 实验 创建三块盘 备一块

mdadm -Cv /dev/md1 -n2 -l1 /dev/sdd1 /dev/sde1 -x1 /dev/sdf1
mkfs.xfs /dev/md1
mkdir /opt/md1
mount /dev/md1 /opt/md1
添加故障
mdadm -f /dev/md1 /dev/sde1

RAID5 实验 创建四块盘 备一块

mdadm -Cv /dev/md5 -n3 -l5 /dev/sd[b-d]1 -x1 /dev/sde1 #使用 mdadm 命令创建 RAID5
mkfs.xfs /dev/md5
mkdir /opt/md5
mount /dev/md5 /opt/md5 # 添加挂载

创建测试文件

touch /opt/md5/test{1…66}.txt

mdadm -f /dev/md5 /dev/sdb1 #添加故障
cat /proc/mdstat #查看过程信息
mdadm -D #查看信息

补充：

准备用于 RAID 阵列的分区 为 Linux 服务器添加 4 块 SCSI 硬盘。使用 fdisk 工具各划分出一块 2GB 的分区，依次 为/dev/sdb1、/dev/sdc1、/dev/sdd1、/dev/sde1，将分区的类型 ID 均更改为 fd。fd 分区类 型对应“Linux raid autodetect”，表示支持用于 RAID 磁盘阵列。
RAID5 实验

查看分区结果。
fdisk -l | grep ‘/dev’
rpm -qa mdadm
mdadm -Cv /dev/md0 -a yes -n4 -l5 /dev/sd[bcde]1 #使用 mdadm 命令创建 RAID，执行以下命令即可创建名称为 md0 的 RAID5

ls -ld /dev/md0 #查看设备文件
cat /proc/mdstat #查看过程信息

创建并挂载文件系统
mkfs -t xfs /dev/md0
mkdir /opt/raidme
mount /dev/md0 /opt/raidme/
vim /etc/fstab #添加自启动
RAID 阵列管理及设备恢复
扫描查看磁盘阵列信息
mdadm -vDs

mdadm -vD /dev/md0

参数解释：
D：detail 的缩写，打印一个或多个磁盘阵列的详细信息；
v：对正在发生的事情显示更详细的信息；
s：扫描/proc/mdstat 中的阵列设备列表。
x #: 指明空闲盘的个数

建立配置文件 为了方便日后启动/停止 RAID 阵列，可以创建一个配置文件来进行管理。
mdadm -vDs > /etc/mdadm.conf
vim /etc/mdadm.conf

启动和停止进行测试

umount /dev/md0
mdadm -S /dev/md0 //-S 停止
mdadm: stopped /dev/md0
mdadm -A /dev/md0 //-A 激活
生成配置文件：mdadm–D –s >> /etc/mdadm.conf

遇到问题之后需要强制启动：mdadm–R /dev/md0

        删除raid信息：mdadm--zero-superblock /dev/sde1

实现故障恢复
mdadm /dev/md0 -f /dev/sde1  #模拟/dev/sde1 故障
cat /proc/mdstat

mdadm /dev/md0 -r /dev/sde1  #移除损坏设备

mdadm /dev/md0 -a /dev/sde1 #添加新磁盘陈列
cat /proc/mdstat  

管理模式：
-f: 标记指定磁盘为损坏
-a: 添加磁盘
-r: 移除磁盘

c/mdadm.conf

遇到问题之后需要强制启动：mdadm–R /dev/md0

        删除raid信息：mdadm--zero-superblock /dev/sde1

实现故障恢复
mdadm /dev/md0 -f /dev/sde1  #模拟/dev/sde1 故障
cat /proc/mdstat

mdadm /dev/md0 -r /dev/sde1  #移除损坏设备

mdadm /dev/md0 -a /dev/sde1 #添加新磁盘陈列
cat /proc/mdstat  

管理模式：
-f: 标记指定磁盘为损坏
-a: 添加磁盘
-r: 移除磁盘