Lenovo  DS存储Linux下ISCSI 多路径映射配置

Renren  2018-01-17

 

实验环境：

     DS4200存储，B控制器池划分一个大小为18G的volume，通过两个1G ISCSI口port2和port3同时映射给客户机。Port B2口IP为172.16.1.14/24 ；port B3口IP为172.16.1.15/24。

客户机系统为centos 6.9，两个以太网口，eth0口IP为172.16.1.195/24，eth1口的IP为172.16.1.196/24。网络均为联通状态。客户机需要用开启多路径使用此18G卷。

详细配置如下：

 

卷映射配置如图：

image.png

 

存储ISCSI映射口网络配置情况如下图：

image.png image.png

 

客户机网卡设置情况如下图：

image.png

 

客户机和存储的ISCSI口网络联通情况如下：

image.png

 

客户机初始磁盘和文件系统情况如下图，只有sda一个磁盘：

image.png

 

 

 

实验操作过程：

为实验顺利，对客户机做以下操作（具体方法不赘述）：

关闭selinux

关闭iptables防火墙

两个以太网口设置自启动。

     配置有可以正常使用的外网yum源

 

1，  客户机安装ISCSI发现程序iscsi-initiator-utils

使用yum的方式安装  yum –y install iscsi* ，安装成功如下图

image.png

 一般情况下安装完成后iscsi服务会被添加到开机自启动，也可以用chkconfig iscsi on添加

 

   验证查看本机的iscsi IQN号，使用cat /etc/iscsi/initiatorname.iscsi命令查看：

image.png

 

   （注：如下图，直接用命令启动iscsi服务是不生效的，重启也无效，此处无关，待后续执行ISCSI发现之后该服务会自己启动）

image.png

 

 

2，执行ISCSI发现目标(target)的命令，iscsiadm –m discovery –t st –p 172.16.1.14:3260

如下图，只要取存储的一个ISCSI口的IP执行发现命令即可。可以发现该存储上的所有ISCSI映射，我们只需要用到

172.16.1.14和172.16.1.15这两个，另外两个是存储其他端口的ISCSI映射，与此次试验无关。

image.png

3，登录被发现的目标节点

Iscsiadm –m node –p 172.16.1.14:3260 –l

Iscsiadm –m node –p 172.16.1.15:3260 –l

登录连接成功如下图：

image.png

 

 验证查看本机的磁盘情况，如下图，由于登录连接了两个节点，系统下新增sdb和sdc两个盘符，

即一个volume映射的两条路径，后续需要开启多路径功能来合并成一个使用。

image.png

 

4，安装Linux的多路径软件

用命令安装 yum –y install device-mapper device-mapper-multipath

 

安装完成后用 rpm –qa |grep mapper 命令验证安装成功，会列出已安装包的版本，如下图：

image.png

验证多路径软件的运行状态，使用multipath –ll 命令

如下图，提示DM多路径内核模块未加载。

image.png

 

使用命令service multipathd start启动多路径服务，如下图。再次查看多路径软件运行状态，

仍有报错提示——多路径配置文件不存在。需要建立/etc/multipath.conf这个配置文件。

image.png

 

5，建立并配置多路径软件的配置文件。

 

使用命令 vi /etc/multipath.conf建立并开打这个配置文件，输入配置文件的内容如下图（一般性配置）即可。

image.png 

此处也把配置文件以文字形式列出：

blacklist {

    devnode “^sda”

}

defaults {

user_friendly_names yes

path_grouping_policy multibus

failback immediate

no_path_retry fail

}

保存配置文件并退出。

 

 

6，设置多路径软件开机自动启动

使用命令 chkconfig multipathd on

使用命令 chkconfig –list 查看服务开机自启动项，如下图

image.png

 

 

7，重启客户机，执行查看多路径软件运行状态，如下图即多路径软件成功操作了DS4200存储映射过来的卷。

image.png

 

验证查看客户机磁盘状态，生成了一个在/dev/mapper下的多路径设备mpatha。

image.png

 

8，在客户机下使用这个映射过来的18G的卷即直接使用这个mpatha的设备（其实就是卷dm-0的一个链接，操作/dev/dm-0也一样）进行分区、格式化、挂载目录使用即可。

 

 

格式化分区挂载多路径设备

   为了验证多路径的冗余特性，人为断掉一条连接存储B2 port即IP为172.16.1.14这条物理链路。

 

1，  对上图中的多路径设备/dev/mapper/mpatha进行分区

命令fdisk /dev/mapper/mpatha

使用默认设置分一个区（分区过程操作不赘述）

 

分区完毕后，fdisk –l查看发现已经完成的分区/dev/mapper/mpathap1 如下图：

image.png

 

但此时在/dev/mapper/目录下并未出现mpathap1这个分区，如下图

image.png

对/dev/mapper/mpathap1格式化也会报错，提示没有这个分区

image.png

 

针对以上问题的解决方法——需要重启一下iscsi服务，service iscsi restart让他重新登录目标节点。如图，提示172.16.1.14已无法登录，因为事先已经人为断掉。另外两个IP是存储其他端口的ISCSI映射，与此次试验无关。

image.png

 

再次查看在/dev/mapper/目录下出现了mpathap1这个分区

image.png

 

2，  对/dev/mapper/mpathap1格式化成ext4格式

mkfs.ext4 /dev/mapper/mpathap1

image.png

对分区进行写测试操作，如下图

image.png

 

3，  对/dev/mapper/mpathap1这个分区挂载目录使用

新建一个测试目录:   mkdir /datatest

挂载目录:  mount /dev/mapper/mpathap1 /datatest/

image.png

 

测试针对此目录的读写使用，正常。如果对目录操作有ext4-fs error之类的报错可以尝试重启服务器。

image.png