OPENFILER构建软iSCSI && multipath实现多路径聚合（二）

已于 2024-05-16 16:20:49 修改
阅读量996 收藏 2
点赞数
分类专栏： 存储 文章标签： openfiler iSCSI 多路径聚合
于 2021-01-22 15:43:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/avatar_2009/article/details/112979295
版权

目录

Linux服务器挂载iSCSI磁盘

安装iSCSI initiator 探测器

查看iSCSI存储

挂载iSCSI磁盘

multipath实现多路径聚合

安装multipath

初始化multipath

使能开机自启动 && 启动multipath服务

配置multipath（选）

挂载multipath设备

卸载磁盘阵列

挂载带CHAP认证的卷

Linux服务器挂载iSCSI磁盘

安装iSCSI initiator 探测器

yum -y install iscsi-initiator-utils

查看iSCSI存储

在测试Linux服务器上，执行下面命令探测Openfiler服务器的iSCSI Target。执行命令的回显，已经表明iSCSI客户端正确识别到共享存储，我们在openfiler存储上配置的是3块盘：
iscsi_lvm_disk1
iscsi_lvm_disk2
iscsi_lvm_disk3
但是这里却显示了6块硬盘，这是有多路径造成的。

# iscsiadm -m discovery -t sendtargets -p 192.168.10.146:3260
192.168.10.146:3260,1 iqn.2006-01.com.openfiler:iscsi_lvm_disk3
172.7.24.146:3260,1 iqn.2006-01.com.openfiler:iscsi_lvm_disk3
192.168.10.146:3260,1 iqn.2006-01.com.openfiler:iscsi_lvm_disk2
172.7.24.146:3260,1 iqn.2006-01.com.openfiler:iscsi_lvm_disk2
192.168.10.146:3260,1 iqn.2006-01.com.openfiler:iscsi_lvm_disk1
172.7.24.146:3260,1 iqn.2006-01.com.openfiler:iscsi_lvm_disk1

挂载iSCSI磁盘

根据上面探测的结果，执行下面命令，挂载共享磁盘，并重复下面的步骤，将第2、3块共享磁盘也都挂载到本地。 挂载成功后可以执行lsblk或者fdisk -l|grep Disk查看。

# iscsiadm -m node -T iqn.2006-01.com.openfiler:iscsi_lvm_disk1 -p 172.7.24.146 -l 
或
# iscsiadm -m node -T iqn.2006-01.com.openfiler:iscsi_lvm_disk1 -p 172.7.24.146 -l|--login
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:iscsi_lvm_disk3, portal: 172.7.24.146,3260] (multiple)
Login to [iface: default, target: iqn.2006-01.com.openfiler:iscsi_lvm_disk3, portal: 172.7.24.146,3260] successful.
# iscsiadm -m node -T iqn.2006-01.com.openfiler:iscsi_lvm_disk1 -p 192.168.10.146 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:iscsi_lvm_disk3, portal: 192.168.10.146,3260] (multiple)
Login to [iface: default, target: iqn.2006-01.com.openfiler:iscsi_lvm_disk3, portal: 192.168.10.146,3260] successful.

卸载iSCSI磁盘

# iscsiadm -m node -T iqn.2006-01.com.openfiler:iscsi_lvm_disk1 -p 172.7.24.146 --logout

multipath实现多路径聚合

安装multipath

yum -y install device-mapper device-mapper-multipath

初始化multipath

/etc/multipath.conf 默认情况并不被创建，需要执行下面的命令以初始化multipath，创建/etc/multipath.conf ，初创的multipath.conf文件的默认配置如下：

defaults {
        user_friendly_names yes
        find_multipaths yes
}
blacklist {
}

参考链接：4.3. 配置文件默认设置 红帽企业版 Linux 6 | Red Hat Customer Portal

mpathconf --enable

使能开机自启动 && 启动multipath服务

systemctl start multipathd
systemctl enable multipathd

初始化multipath和启动multipath服务之后，multipathd服务就会根据初始的/etc/multipath.conf的配置进行多路径聚合。默认的聚合模式是：failover（主备模式）；此外，还有多种其他工作模式（例如：multibus（负载均衡模式）），这里不做深入探究。执行下面的命令查看多路径聚合效果：可见共3块磁盘，每块磁盘2条路径：一个是ACTIVE，一个是ENABLED，表明此时multipath工作模式是主/备。

# multipath -ll
mpathc (14f504e46494c455234546b524d412d446473642d4a45796c) dm-4 OPNFILER,VIRTUAL-DISK    
size=20G features='0' hwhandler='0' wp=rw
|-+- policy='service-time 0' prio=1 status=active
| `- 37:0:0:0 sdf 8:80 active ready running
`-+- policy='service-time 0' prio=1 status=enabled
  `- 38:0:0:0 sdg 8:96 active ready running
mpathb (14f504e46494c455251546e5266382d5052624d2d6a386e6e) dm-3 OPNFILER,VIRTUAL-DISK    
size=20G features='0' hwhandler='0' wp=rw
|-+- policy='service-time 0' prio=1 status=active
| `- 34:0:0:0 sdc 8:32 active ready running
`-+- policy='service-time 0' prio=1 status=enabled
  `- 35:0:0:0 sdd 8:48 active ready running
mpatha (14f504e46494c4552446e525879682d4667324c2d6d633178) dm-2 OPNFILER,VIRTUAL-DISK    
size=20G features='0' hwhandler='0' wp=rw
|-+- policy='service-time 0' prio=1 status=active
| `- 33:0:0:0 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=1 status=enabled
  `- 36:0:0:0 sde 8:64 active ready running

修改/etc/multipath.conf配置，defaults {}中增加path_grouping_policy multibus：

defaults {
        user_friendly_names yes
        find_multipaths yes
        path_grouping_policy multibus
}

然后重启服务，再次查看：每个磁盘的两条路径都是ACTIVE，表明此时multipath工作模式是负载均衡。I/O流量会轮询调度到两条路径上。

# multipath -ll
mpathc (14f504e46494c455234546b524d412d446473642d4a45796c) dm-4 OPNFILER,VIRTUAL-DISK    
size=20G features='0' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=1 status=active
  |- 37:0:0:0 sdf 8:80 active ready running
  `- 38:0:0:0 sdg 8:96 active ready running
mpathb (14f504e46494c455251546e5266382d5052624d2d6a386e6e) dm-3 OPNFILER,VIRTUAL-DISK    
size=20G features='0' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=1 status=active
  |- 34:0:0:0 sdc 8:32 active ready running
  `- 35:0:0:0 sdd 8:48 active ready running
mpatha (14f504e46494c4552446e525879682d4667324c2d6d633178) dm-2 OPNFILER,VIRTUAL-DISK    
size=20G features='0' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=1 status=active
  |- 33:0:0:0 sdb 8:16 active ready running
  `- 36:0:0:0 sde 8:64 active ready running

至此，多路径聚合已经结束。multipath还有一些配置，下面赘述一下。

配置multipath（选）

建议user_friendly_names设为no。如果设定为 no，即指定该系统应使用WWID作为该多路径的别名。user_friendly_names yes的话，使用mpathX做为多路径别名。而WWID的唯一性更好。同时我们给WWID绑定一个自定义的别名，以便于管理。同时/etc/multipath.conf 更新配置如下：
defaults {
        user_friendly_names no
        find_multipaths yes
        path_grouping_policy multibus
}
#先将所有的设备列入到blacklist中，也就是说先使得所有设备不能聚合
blacklist {
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^(hd|xvd|vd)[a-z]*"
wwid "*"
}
# 将想要聚合的设备列入blacklist_exceptions
blacklist_exceptions{
wwid "14f504e46494c4552446e525879682d4667324c2d6d633178"
wwid "14f504e46494c455251546e5266382d5052624d2d6a386e6e"
wwid "14f504e46494c455234546b524d412d446473642d4a45796c"
}
multipaths{
multipath {
wwid "14f504e46494c4552446e525879682d4667324c2d6d633178"
alias openfiler-disk1
}
multipath {
wwid "14f504e46494c455251546e5266382d5052624d2d6a386e6e"
alias openfiler-disk2
}
multipath {
wwid "14f504e46494c455234546b524d412d446473642d4a45796c"
alias openfiler-disk3
}
}

效果如下：

# multipath -ll
openfiler-disk3 (14f504e46494c455234546b524d412d446473642d4a45796c) dm-4 OPNFILER,VIRTUAL-DISK    
size=20G features='0' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=1 status=active
  |- 49:0:0:0 sdf 8:80 active ready running
  `- 50:0:0:0 sdg 8:96 active ready running
openfiler-disk2 (14f504e46494c45524359594d6d562d7035786f2d73744143) dm-3 OPNFILER,VIRTUAL-DISK    
size=20G features='0' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=1 status=active
  |- 47:0:0:0 sdd 8:48 active ready running
  `- 48:0:0:0 sde 8:64 active ready running
openfiler-disk1 (14f504e46494c4552764b6f4275352d376445392d43363066) dm-2 OPNFILER,VIRTUAL-DISK    
size=20G features='0' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=1 status=active
  |- 45:0:0:0 sdb 8:16 active ready running
  `- 46:0:0:0 sdc 8:32 active ready running

挂载multipath设备

执行fdisk依次对openfiler-disk1、openfiler-disk2、openfiler-disk3进行分区，然后格式化为CentOS默认的文件系统XFS，然后配置到/etc/fstab 。

问题：fdisk执行分区时可能会有告警：WARNING: Re-reading the partition table failed with error 22: Invalid argument.

解决：执行  partprobe 。

fdisk /dev/mapper/openfiler-disk3
mkfs.xfs /dev/mapper/openfiler-disk3p1
# vi /etc/fstab 
/dev/mapper/openfiler-disk3p1   /data                   xfs     defaults        0 0
# mount -a
# df -h
/dev/mapper/openfiler-disk3p1     20G   33M   20G   1% /data

卸载磁盘阵列

卸载multipath设备
# umount -a /dev/mapper/openfiler-disk3p1
清除multipath聚合设备
# multipath -F
# systemctl stop multipathd
卸载iSCSI设备
# iscsiadm -m node -T iqn.2006-01.com.openfiler:iscsi_lvm_disk3 -p 172.7.24.146 --logout

挂载带CHAP认证的卷

#直接挂载失败
iscsiadm -m node -T iqn.2006-01.com.openfiler:iscsi_lun1_disk -p 172.7.24.146 --login
……
iscsiadm: initiator reported error (24 - iSCSI login failed due to authorization failure)
iscsiadm: Could not log into all portals

#第一：发现卷
    iscsiadm --mode discovery --type sendtargets --portal 192.168.10.146
    或
    iscsiadm -m discovery -t sendtargets -p 192.168.10.146:3260

#第二：对于需验证码的节点，在挂载前需执行
    先开启验证
        iscsiadm -m node -T iqn.2006-01.com.openfiler:iscsi_lun1_disk -p 172.7.24.146 -o update --name node.session.auth.authmethod --value=CHAP
    再添加用户
        iscsiadm -m node -T iqn.2006-01.com.openfiler:iscsi_lun1_disk -p 172.7.24.146 -o update --name node.session.auth.username --value=liuyuanlin
    添加密码
        iscsiadm -m node -T iqn.2006-01.com.openfiler:iscsi_lun1_disk -p 172.7.24.146 -o update --name node.session.auth.password --value=lyl-password
    多路径下还要重复执行上述步骤到192.168.10.146。

注：除了上述命令行方式外，也可以直接修改配置文件：/etc/iscsi/iscsid.conf 。因为上述命令也是写该文件。

#第三：测试挂载设备
    iscsiadm -m node -T iqn.2006-01.com.openfiler:iscsi_lun1_disk -p 172.7.24.146 --login
    iscsiadm -m node -T iqn.2006-01.com.openfiler:iscsi_lun1_disk -p 192.168.10.146 --login

#第四：断开（卸载）与target的连接
    iscsiadm -m node -T iqn.2006-01.com.openfiler:iscsi_lun1_disk -p 172.7.24.146 --logout
    iscsiadm -m node -T iqn.2006-01.com.openfiler:iscsi_lun1_disk -p 192.168.10.146 --logout

#查看挂载到本机的

 lsscsi -i
[52:0:0:0]   disk    OPNFILER VIRTUAL-DISK     0     /dev/sdh   -
[52:0:0:1]   disk    OPNFILER VIRTUAL-DISK     0     /dev/sdi   -
[52:0:0:2]   disk    OPNFILER VIRTUAL-DISK     0     /dev/sdj   -
[55:0:0:0]   disk    OPNFILER VIRTUAL-DISK     0     /dev/sdk   14f504e46494c4552664a316554442d677754492d4f416464
[55:0:0:1]   disk    OPNFILER VIRTUAL-DISK     0     /dev/sdl   14f504e46494c4552356359576b672d667952672d6c5a384b
[55:0:0:2]   disk    OPNFILER VIRTUAL-DISK     0     /dev/sdm   14f504e46494c455252666f574e652d30634e722d57555755

itachi-uchiha
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
openfiler安装&ISCSI配置及存储共享
10-12
OpenFiler 安装与 iSCSI 配置及存储共享 OpenFiler 是一个基于 Linux 的开源存储解决方案，提供了多种存储协议，包括 iSCSI、NFS、CIFS 等。下面我们将详细介绍 OpenFiler 的安装、iSCSI 配置及存储共享。 一、...
存储的多路径访问目标的模式
Gao068465的博客
12-12 445
今天就简单说说存储的多路径访问目标的模式： 多个存储适配器可以以active/standby 模式或者active/active 模式以及dual/multi active 模式工作。active/standby 模式是指同一时刻只能有一个适配器在收发数据（即一个人管所有），active/active模式是指同一时刻多个适配器可以共同收发针对同一个LUN的数据(即多人管一个)。而dua/multi active则是两个或指多个适配器不能同时针对同一LUN收发数据，但是每个适配器可以针对不...
【linux】多路径|Multipath I/O 技术
最新发布
bandaoyu的note
04-20 2309
普通的电脑主机都是一个硬盘挂接到一个总线上，这里是一对一的关系。而到了分布式环境，主机和存储网络连接中间每一层可能存在多块网卡多个交换机可选就构成了多对多的关系。也就是说，主机到存储可以有多条路径可以选择。主机到存储之间的IO由多条路径可以选择那么就有以下问题需要解决1 )每条路径如何表达?2 )I/O流量如何选择路径?3)流量如何在多条路径之间分配?负载均衡4)其中一条路径坏掉了，如何处理?高可用第一条比较简单。
OPENFILER构建软iSCSI && multipath实现多路径聚合（一）
刘元林的博客
01-21 830
实验环境 网络拓扑 Linux服务器：一台CentOS7.8服务器作为客户端，用于挂载iSCSI存储;为了模拟多路径的环境，服务器配置了两块网卡: ens192：192.168.11.252/23 ens224：172.7.24.252/24Openfiler服务器：一台Openfiler 2.99.1服务器，除了50G系统盘外，另外挂载了一块500G的裸盘，用于模拟磁盘阵列。同样配置两块网卡，如下图： 安装Openfil...
Rhel Linux multipath + OpenfIler raid iscsi
weixin_33918357的博客
06-09 164
前段时间学习了关于Redhat Linux上的多路径Multipath，以及为了方便学习在本机电脑上安装了Openfiler模拟存储，配置多块网卡实现多路径冗余识别存储。在这里以我个人的理解简单的描述我所认知的理论知识。Multipath是Linux系统上开源免费的多路径软件，实现服务器可以通过多条物理路径连接到块存储。Openfiler是底层以Linux系统模拟的存储架构，...
利用OPENFILER构建软ISCSI简单教程.doc
12-19
通过上述步骤，你便成功地利用Openfiler搭建了一个软iSCSI服务，为ESX3提供了存储解决方案。请注意，根据实际情况，你可能需要调整某些设置以满足特定需求。此外，遇到问题时，不要忘记检查官方文档或社区论坛以获取...
openfiler+multipath多路径+udev配置共享存储
06-14
本套课程详细讲解了使用openfiler模拟共享存储,安装Oracle RAC集群需要共享存储,可以使用虚拟机自身的功能进行模拟,也可以使用此方式进行模拟，此方式更加贴近生产，课程中还讲解了multipath多路径和udev绑定的配置...
openfiler作为文件服务器，实现ISCSI共享存储
10-28
【openfiler 作为文件服务器实现 ISCSI 共享存储】 openfiler 是一款开源的企业级存储管理系统，它提供了网络存储服务，如 NFS、CIFS、FTP 和 iSCSI。本篇文章将详细阐述如何利用 openfiler 作为文件服务器，实现 ...
Linux(centos7)如何实现配置iscsi存储多路径 及DM-Multipath的配置文件概述
xdy762024688的博客
08-01 1576
defaults #DM Multipath 的常规默认设置。blacklist #不被视为多路径的具体设备列表。blacklist_exceptions #根据 blacklist 部分中的参数列出不在黑名单中的多路径设备multipaths #各个独立多路径设备的特性设置。这些数值覆盖了在配置文件的 defaults 和 devices 部分中指定的数值devices #各个存储控制器的设置。这些数值覆盖了在配置文件的 defaults 部分指定的数值。
multipath 多路冗余
weixin_34055910的博客
10-12 366
multipath 多路冗余 一、什么是multipath 普通的电脑主机都是一个硬盘挂接到一个总线上，这里是一对一的关系。而到了有光纤组成的SAN环境，由于主机和存储通过了光纤交换机连接，这样的话，就构成了多对多的关系。也就是说，主机到存储可以有多条路径可以选择。主机到存储之间的IO由多条路径可以选择。 既然，每个主机到所对应的存储可以经过几条不同的路径，如果...
Linux下的共享磁盘multipath多路径聚合
狗剩儿的记忆博客
08-26 1330
【代码】Linux下的共享磁盘multipath多路径聚合。
linux网络服务学习（6）：多路径multipath解决iscsi多网卡识别错误问题
ab149162536的博客
04-10 573
物理层面一条数据的访问通道访问方式：（1）以太网卡+双绞网线+以太网交换机（2）HBA光纤卡+光纤线+光纤交换机访问过程：（1）冗余链路failover：使用多于2条的链路进行传输，如果A链路出现故障，则B链路会及时替代A链路继续传输，等A链路恢复连接后，B链路再退回等待状态（2）：也有多于两条的链路，但所有链路同时工作，以拓宽传输带宽。
Linux Multipath+iscsi实现多路径配置
Wielun
03-20 5964
一、Multipath介绍 1、Multipath简介 普通的电脑主机都是一个硬盘挂接到一个总线上，这里是一对一的关系。而到了有光纤组成的SAN环境，由于主机和存储通过了光纤交换机连接，这样的话，就构成了多对多的关系。也就是说，主机到存储可以有多条路径可以选择。主机到存储之间的IO由多条路径可以选择。 2、实现功能 故障的切换和恢复 IO流量的负载均衡 磁盘的虚拟化 二、实验环境...
使用ISCSI+Multipath配置共享存储
zl
02-03 532
环境说明 VMware下CentOS7，额外添加一块硬盘具体如下： [root@orcl1 dev]# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 200G 0 disk ├─sda1 8:1 0 1G 0 part /boot └─sda2 8:2 0 199G 0 part ├─centos-root 2
linux怎么把目录添加多个组,利用multipath实现多路径聚合
weixin_33634341的博客
04-28 1193
本文详细介绍如何利用Linux自带的Devicemapper multipathing (DM-Multipath)功能模拟多路径聚合。当服务器可以通过多条路径访问LUN时,Linux系统会为每条路径创建一个SCSI设备，这就意味着，如果服务器有两条路径访问LUN时，这个LUN在服务器上可能会映射成/dev/sdd和 /dev/sdf两个设备。为了解决这个问题，DM-Multipath会聚合所有路...
centos7使用multipath绑定共享磁盘
qq_36192280的博客
02-21 1649
环境信息：CentOS Linux release 7.6.1810 (Core) 磁盘信息：使用virtual-box虚拟化软件模拟共享存储 将盘符共享给两台linux主机后 初始化multipath 初始化及启动multipath服务 [root@localhost etc]# modprobe dm-multipath [root@localhost etc]# modprobe dm-round=robin [root@localhost etc]# systemctl start multipa
Linux多路径multipath
cnseiya的专栏
10-17 3147
device-mapper-multipath主要提供multipathd和multipath等工具和 multipath.conf等配置文件。# multipath-tools 这个软件包可以产生模板,在多路径的管理和监控工具，主要进行路径状态的检测，管理工作。#user_friendly_names使用用户友好的名称，而不是使用WWIDs作为名称。(存储上为wwid，linux操作系统上为uuid，unix操作系统上为wwid)# 配置多路径，比如映射设备的名称，multipath负载均衡的方法。
配置磁盘多路径聚合
雅冰石的专栏
01-04 1043
配置磁盘多路径聚合

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值