Linux iscsi 多径实验
存储环境 浪潮AS2150-G2
客户端环境centos 7
一、存储环境配置
1、新建存储池Pool0
容量为0B。
添加存储器
2、定制存储器。配置对应硬盘和RAID
新建卷,分配对应容量
3、创建主机
查看主机的iqn号 ##安装有iscsi服务才能看到iqn
cat /etc/iscsi/initiatorname.iscsi
将逻辑卷映射到时对应主机
4、客户端配置
在linux主机挂载查找逻辑卷
安装iscsi服务
检查iscsi rpm包
rpm -qa | grep iscsi
yum list | grep iscsi
yum -y install iscsi-initiator-utils-devel iscsi-initiator-utils
5、启动iscsi服务并设置开机自启动
service iscsi start
service iscsid start
chkconfig iscsi on
chkconfig iscsid on
查找存储对外提供的逻辑卷iscsiadm -m discovery -t sendtargets -p
iscsiadm -m discovery -t st -p 192.168.220.100
映射逻辑卷到Linux系统中
iscsiadm -m node -T iqn.2004-12.com.inspur:mcs.as2150-g2.node1 -p 192.16.220.100:3260 -l
6、设置开机自动映射
iscsiadm -m node -T iqn.2004-12.com.inspur:mcs.as2150-g2.node1-temp -p 172.17.12.11:3260 --op update -n node.startup -v automatic
备注:(以上的自动映射命令,好像没起作用,需要添加到启动项里 vim /etc/rc.local
/root/automount.sh
iscsiadm -m node -T iqn.equallogic:0-8a0906-ff8baaf07-d67d71a46f857457-temp -p 172.17.12.11:3260 -l
mount /dev/sdb1 /maiwx
如果一个Target下新增了一个SAN资源,在服务器可以使用iscsiadm –m session –R命令刷新(rescan)已连接的iSCSI session以识别新的SAN资源:
iscsiadm -m session –R
target记录在了Open-iSCSI数据库中
iscsiadm -m node
删除失效的iscsi
iscsiadm -m node --targetname iqn.2006-01.com.openfiler:tsn.98c70dc33804 -u
iscsiadm -m node -o delete -T iqn.2006-01.com.openfiler:tsn.98c70dc33804 -p 192.168.10.93:3260
或者
iscsiadm -m node -T iqn.2019-05.com.westos:cipan -p 192.168.100.190 -u 登出共享磁盘
iscsiadm -m node -T iqn.2019-05.com.westos:cipan -p 172.25.254.218 -o delete 删除共享磁盘
fdisk -l 查看磁盘状态
Iscsi多路径实验
实验环境: xuegod63,xuegod64配置双网卡 。
服务端:xuegod63.cn IP:192.168.220.100 ens32 ; IP:192.168.220.101 ens35
客户端:xuegod64.cn IP:192.168.220.10 ens32 ; IP:192.168.220.20 ens35
配置网卡步骤省略
测试网卡连通性
如果只有一个网卡可以通,说明Linux默认启用了反向路由检查,我们只需要关闭反向路由检查即可。
#echo 0 > /proc/sys/net/ipv4/conf/all/rp_filter
#echo 0 > /proc/sys/net/ipv4/conf/eno1/rp_filter
#echo 0 > /proc/sys/net/ipv4/conf/eno2/rp_filter
配置开机启动文件/etc/rc.d/rc.local,并保存退出
再次测试两个网卡的连通性
#ping 192.168.220.101 -I eno2
#ping 192.168.220.101 -I eno1
#ping 192.168.220.100 -I eno1
#ping 192.168.220.100 -I eno2
安装了iSCSI initiator插件
查看是否安装rpm -qa|grep iscsi
安装iSCSI initiator插件,使用yum -y install iscsi-initiator-utils iscsi-initiator-utils-devel
启动ISCSI服务,并加入开机自动加载
#systemctl enable iscsi.service
#systemctl start iscsi.service
#systemctl start iscsid.service
多路径配置
在linux服务器系统发射存储上的iqn信息,使用iscsiadm -m discovery -t st -p 192.168.220.100
建立iscsi端口
#iscsiadm -m iface -I iscsi_eno160 --op=new
#iscsiadm -m iface -I iscsi_eno192 --op=new
创建iscsi多路径接口, 配置均位于/var/lib/iscsi/ifaces目录中
绑定iscsi端口,建立iscsi_ens60和ens160、iscsi_ens192和ens192的映射关系。
#iscsiadm -m iface -I iscsi_ens160 --op=update -n iface.net_ifacename -v ens160
#iscsiadm -m iface -I iscsi_ens192 --op=update -n iface.net_ifacename -v ens192
确认iface配置
#iscsiadm -m iface
重启ISCSI服务
systemctl restart iscsi.service
测试网卡连通性,如果不通再次执行关闭反向路由
再次发射存储映射信息,发现已经有多条路径
#iscsiadm -m discovery -t st -p 192.168.220.100
#iscsiadm -m discovery -t st -p 192.168.220.101
列出发现所有的目录节点
#iscsiadm -m node
登录所有的目标节点
#iscsiadm -m node –loginall=all
查询已登录目标节点的会话或host信息
#iscsiadm -m session
iscsiadm -m host
如果之前有缓存残余,请执行删除命令
iscsiadm -m node --targetname iqn.2006-01.com.openfiler:tsn.98c70dc33804 -u
iscsiadm -m node -o delete -T iqn.2006-01.com.openfiler:tsn.98c70dc33804 -p 192.168.10.93:3260
iscsiadm -m node -o delete -T iqn.2006-01.com.openfiler:tsn.98c70dc33804 -p 192.168.10.94:3260
安装DM-multipath 软件包
yum -y install device-mapper multipath-tools device-mapper-multipath device-mapper-event
命令初始化DM
#modprobe dm-multipath
#modprobe dm-round-robin
#systemctl start multipathd.service
#systemctl enable multipathd.service
检查安装服务是否正常,显示正常
lsmod |grep dm_multipath
查询磁盘wwid
/lib/udev/scsi_id --whitelisted --device=/dev/sdb
/lib/udev/scsi_id --whitelisted --device=/dev/sde
同一路径wwid是相同的
拷贝一份模板配置文件到etc目录,然后编辑multipath.conf文件
cp /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf /etc/
编辑multipath.conf文件
vi /etc/multipath.conf
defaults {
user_friendly_names yes
}
multipaths {
multipath {
wwid “36005076708808816d800000000000005”
alias webdata
path_grouping_policy multibus #如果multibus 改为failover是主备模式
path_selector “round-robin 0”
failback manual
rr_weight priorities
no_path_retry 5
}
}
重启服务multipathd
#service multipathd restart
##需要重新实别一下存储
查询多路径生成的磁盘信息
fdisk -l
查询多路径设备,它会包含一些路径
multipath -ll
multipath -rr
多路径测试
关闭网卡eno1
ifdown eno1
查看路径状态
multipath -ll
磁盘格式化、及挂载
pvcreate /dev/mapper/webdata
先执行pvcreate /dev/mapper/webdata命令 ##创建物理卷“/dev/mapper/webdata”
执行fdisk /dev/mapper/webdata 进行分区
WARNING: Re-reading the partition table failed with error 22: 无效的参数. 此报错可以忽略
重新扫描分区
partprobe /dev/mapper/webdata
格式化分区,采用ext4模式分区
mkfs.ext4 /dev/mapper/webdata1
新建挂载目录进行挂载
mkdir /mnt/qin
mount /dev/mapper/webdata1 /mnt/qin/
查看挂载信息是否挂载成功
配置永久挂载
vi /etc/fstab