Dell R410 安装有Centos6.2系统

硬件须知：
1、R410服务器需要购买安装SAS HBA卡，插在pcie槽，一个即可，想做备份就插2个；
2、MD3200一个控制器模块可以连接4个服务器，不含冗余和备份；
3、如果连接4台服务器需要4条SAS线，如果做备份的话，只能连2台服务器，每个服务器接两条；

硬件连接按照说明书即可（一条SAS线从服务器连接md3200,一条网线用于带外管理）。

具体应用：

1、为了方便采用带外管理方式，用笔记本电脑安装光盘所带的管理软件；
2、配置地址192.168.128.200连接MD3200的mgmt地址，192.168.128.101/102；
3、按照提示操作，配置raid类型和需要创建的磁盘，并将磁盘映射至服务器；
4、Centos6.2采用multipathd软件进行多路径管理；
先用dell md3200安装光盘，安装linux下的软件，备用，./autorun即可。

启动
#service multipathd start

扫描阵列
#rescan_dm_devs

查看映射来的磁盘
# multipath -ll
May 09 00:13:34 | multipath.conf line 101, invalid keyword: polling_interval
May 09 00:13:34 | multipath.conf line 109, invalid keyword: prio_callout
May 09 00:13:34 | multipath.conf line 116, invalid keyword: polling_interval
May 09 00:13:34 | multipath.conf line 124, invalid keyword: prio_callout
May 09 00:13:34 | multipath.conf line 131, invalid keyword: polling_interval
May 09 00:13:34 | multipath.conf line 139, invalid keyword: prio_callout
May 09 00:13:34 | multipath.conf line 146, invalid keyword: polling_interval
May 09 00:13:34 | multipath.conf line 154, invalid keyword: prio_callout
mpathb (36d4ae52000813c40000003964fa7047c) dm-2 DELL,MD32xx
size=27T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
`-+- policy='round-robin 0' prio=6 status=active
  `- 1:0:0:0 sdb 8:16 active ready running#multipath -ll
mpath1 (36d4ae52000890a8e000003be4f8b19b9) dm-3 DELL,MD32xx
[size=15T][features=3 queue_if_no_path pg_init_retries 50][hwhandler=1 rdac][rw]
\_ round-robin 0 [prio=100][active]
\_ 1:0:0:1 sdd 8:48 [active][ready]

那个错误提示是说multipath.conf这个配置文件中有些行使用了不能识别的关键字. 一般是配置文件的版本问题. 不过一般来说multipath跑默认设置就好了，所以您可以先把出错的行注释掉。

MBR分区表：（MBR含义：主引导记录）
所支持的最大卷：2T （T; terabytes,1TB=1024GB）
对分区的设限：最多4个主分区或3个主分区加一个扩展分区。
GPT分区表：（GPT含义：GUID分区表）
支持最大卷：18EB，（E：exabytes,1EB=1024TB）
每个磁盘最多支持128个分区
用 parted 建立大小超过2T的分区

由于单块硬盘的容量不断增大，价格也很便宜，现在2TB的硬盘已经很常见，而传统的MBR方式存储使很多分区工具不能正常读取大于2TB的磁盘而无法分区大于2TB的磁盘，linux提供parted工具可以很好的支持大磁盘分区。
Parted和fdisk很相似，也是命令行工具，但是parted分区是实时的，只要开始执行分区，就实实在在的分区啦，而不像fdisk工具需要执行w后才开始分区，所以使用parted分区的时候一定要注意，看清楚在下手。

分区，磁盘空间大于2T，采用gpt
#parted /dev/mapper/mpathb

(parted)mklabel gpt
(parted)mkpart primary 0% 100%
primary指分区类型为主分区，0是分区开始位置，100%是分区结束位置
(parted)print
查看分区设置

Model: Linux device-mapper (multipath) (dm)
Disk /dev/mapper/mpathb: 30.0TB
Sector size (logical/physical): 512B/512B
Partition Table: gpt

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  30.0TB  30.0TB               primary

 

将新分区加入分区列表
#kpartx -a /dev/mapper/mpathbp1

虽然ext4 的 feature list 有支持 > 16TB, 不过.... 那目前来看就只是设计目标, 因为 e2fsprogs 不支持 > 16TB，所以只能换成xfs文件格式，centos6.2的内核支持XFS，所以只要安装xfs软件就可以了

#yum install xfsprogs*

格式化文件系统
#mkfs.xfs /dev/mapper/mpathbp1

挂载
#mkdir /md3200
#mount /dev/mapper/mpathbp1 /md3200

查看分区状况
# df -hT
Filesystem    Type    Size  Used Avail Use% Mounted on
/dev/mapper/vg_ffmpeg-lv_root
              ext4     50G  4.9G   42G  11% /
tmpfs        tmpfs    7.8G     0  7.8G   0% /dev/shm
/dev/sda1     ext4    485M   61M  399M  14% /boot
/dev/mapper/vg_ffmpeg-lv_home
              ext4    208G  188M  197G   1% /home
/dev/mapper/mpathbp1
               xfs     28T   33M   28T   1% /md3200

最后加入到/etc/fstab开机挂载

/dev/mapper/mpathbp1    /md3200              xfs     defaults        1 2

Device Mapper 命令

命令

说明

multipath -h

打印使用信息

multipath -ll

使用所有可用信息（sysfs、Device Mapper、路径检查程序等信息）显示当前多路径拓扑

multipath

使用简化输出重新集合多路径设备。

multipath -f <multipath_dev_node>

对特定多路径设备清除 Device Mapper。在删除基本物理设备或取消其映射时使用。

multipath -F

清除所有未使用的多路径设备映射。

rescan_dm_devs

Dell 提供的脚本。强制重新扫描主机 SCSI 总线，并根据需要集合多路径设备。适用情况：

  • LUN 动态映射至主机。
  • 有新目标添加至主机。
  • 需要恢复存储阵列的故障。

 

限制和已知问题

  • 在某些错误情况下，如果已设置 no_path_retry 或 queue_if_no_path 功能，则应用程序可能会挂起。要克服这些情况，必须为每个受影响的多路径设备输入以下命令：

     

dmsetup message [device] 0 "fail_if_no_path"（dmsetup message [设备] 0 "fail_if_no_path"）

其中 [设备] 是多路径设备名称（例如 mpath2，但是不指定路径）。

  • 如果在卸载卷之前删除了 Device Mapper 设备，I/O 可能会挂起。

     
  • 如果 scsi_dh_rdac 模块未包含在 initrd 中，设备搜索可能变得更缓慢，并且系统日志可能会写满缓冲区 I/O 错误信息。

     
  • 如果主机服务器或存储阵列在 I/O 活动时重新引导，则 I/O 可能会挂起。在关闭或重新引导主机服务器或存储阵列之前，应该停止存储阵列的所有 I/O。

     
  • 对于 MD3200 系列阵列，在恢复发生故障的路径之后，由于驱动程序无法在没有强制重新扫描的情况下自动检测设备，因此未自动完成故障恢复。运行命令 rescan_dm_devs 强制重新扫描主机服务器。由此可恢复发生故障的路径，并激活故障恢复。

     
  • 如果主机系统正在执行繁重的 I/O 操作，则故障恢复可能会很慢。此时若主机服务器的 CPU 利用率也很高，则会加剧该问题。

     
  • 如果主机系统正在执行繁重的 I/O 操作，则 Device Mapper 多路径服务可能会很慢。此时若主机服务器的 CPU 利用率也很高，则会加剧该问题。

     
  • 如果未将根磁盘列入 multipath.conf 文件中的黑名单，则可为根磁盘创建多路径节点。命令 multipath -ll 会列出有助于确定该问题的供应商/产品 ID。

     

故障排除

问题

解答

如何确定 multipathd 是否正在运行？

运行以下命令

/etc/init.d/multipathd status

为什么 multipath -ll 命令的输出未显示任何设备？

先请验证是否搜索到设备。命令 #cat /proc/scsi/scsi 可显示所有已搜索到的设备。

然后验证 multipath.conf 确保已用适当的设置将其更新。

此后运行 multipath。然后再运行 multipath -ll 就应显示新设备。

为什么没有为新映射的 LUN 分配多路径设备节点？

在任意目录下运行 rescan_dm_devs。由此可调出设备。

如果先前没有映射任何 LUN，然后映射了部分 LUN。则在运行 rescan-scsi-bus.sh 之后无法显示 LUN 0。

运行 rescan_dm_devs 而非 rescan-scsi-bus 以重新配置 LUN 0。

已移除 LUN，但多路径映射依然存在。

移除 LUN 后，多路径设备依然存在。运行 multipath -f <已删除 LUN 的设备节点> 以移除多路径映射。例如，如果删除与 /dev/dm-1 相关的设备，则必须运行 multipath -f /dev/dm-1 从 DM 映射表删除 /dev/dm-1。如果已停止/重新启动多路径守护程序，则应运行 multipath -F 清除所有失效的映射。

阵列未执行预期的故障恢复。

有时底层驱动程序不能自动检测随阵列回归的设备。运行 rescan_dm_devs 重新扫描主机服务器 SCSI 总线，并在多路径层重新集合设备。