使用OpenFiler实现共享存储

最新推荐文章于 2024-04-28 02:22:52 发布

xwk19870212

最新推荐文章于 2024-04-28 02:22:52 发布

阅读量1.7k

点赞数

分类专栏： oracle 文章标签：网络服务器运维

本文链接：https://blog.csdn.net/xwk19870212/article/details/125905583

版权

oracle 专栏收录该内容

10 篇文章 0 订阅

订阅专栏

使用OpenFiler实现共享存储

一、使用OpenFiler实现共享存储
二、使用multipath进行多路径绑定
三、使用udev绑定多路径设备

一、使用OpenFiler实现共享存储

一.OpenFiler下载

OpenFiler下载地址：http://www.openfiler.com/

二.OpenFiler在虚拟机下的安装

1.虚拟机设置

使用VMware® Workstation 16 Pro新建一台虚拟机。
操作系统：选择centos7x64（建议与需要使用openfiler的操作系统一样）
内存：1G
硬盘：10G1，20G3
虚拟网卡：2块。（用来模拟多路径）

2.开始安装openfiler

点击回车开始安装
在这里插入图片描述
选择系统安装所在分区

配置ip地址和主机名
在这里插入图片描述
时区选择shanghai禁用utc，其他均选择默认即可。等待安装完成点击reboot。

重启后会提示你网页地址为：https://192.168.56.30:446/

三、openfiler的配置

1.登录

使用openfiler/password登录网页：
https://192.168.56.30:446/
在这里插入图片描述

2.创建一个pv（物理卷）

在这里插入图片描述
依次选择三个分区创建pv

3.创建vg（卷组）

在这里插入图片描述

4.创建一个lv（逻辑卷）

在这里插入图片描述

4.开启并创建 iSCSI Target

开启服务
命令启动

启动iscsi-target服务
service iscsi-target start
设置开机启动
chkconfig --level 2345 iscsi-target on

图形界面启动
在这里插入图片描述

创建 iSCSI Target
在这里插入图片描述

5.进行网络配置

点击system标签进行网络和网络访问配置
在这里插入图片描述

6.开启网络acl

在这里插入图片描述

7.开启LUN映射

在这里插入图片描述

四、客户端进行挂载

1.安装iscsi并开启服务

yum -y install iscsi-initiator-utils
systemctl start iscsi
systemctl enable iscsi

2.发现iSCSI目标

 [root@racdb1 yum.repos.d]#  iscsiadm -m discovery -t sendtargets -p 192.168.56.30:3260
192.168.56.30:3260,1 iqn.2006-01.com.openfiler:tsn.7fe93ce24bbe
192.168.56.31:3260,1 iqn.2006-01.com.openfiler:tsn.7fe93ce24bbe

3.挂载共享盘

fdisk -l 可以看到6块多路径盘。

iscsiadm -m node -p 192.168.56.30:3260 -l
iscsiadm -m node -p 192.168.56.31:3260 -l

4.iscsi磁盘卸载

卸载后fdisk -l已经看不到共享盘了。

[root@racdb1 yum.repos.d]# iscsiadm -m discovery -t sendtargets -p 192.168.56.30:3260
192.168.56.30:3260,1 iqn.2006-01.com.openfiler:tsn.7fe93ce24bbe
192.168.56.31:3260,1 iqn.2006-01.com.openfiler:tsn.7fe93ce24bbe
[root@racdb1 yum.repos.d]# iscsiadm --mode node --targetname iqn.2006-01.com.openfiler:tsn.7fe93ce24bbe --portal 192.168.56.30:3260 --logout
Logging out of session [sid: 5, target: iqn.2006-01.com.openfiler:tsn.7fe93ce24bbe, portal: 192.168.56.30,3260]
Logout of [sid: 5, target: iqn.2006-01.com.openfiler:tsn.7fe93ce24bbe, portal: 192.168.56.30,3260] successful.
[root@racdb1 yum.repos.d]# iscsiadm --mode node --targetname iqn.2006-01.com.openfiler:tsn.7fe93ce24bbe --portal 192.168.56.31:3260 --logout
Logging out of session [sid: 6, target: iqn.2006-01.com.openfiler:tsn.7fe93ce24bbe, portal: 192.168.56.31,3260]
Logout of [sid: 6, target: iqn.2006-01.com.openfiler:tsn.7fe93ce24bbe, portal: 192.168.56.31,3260] successful.

二、使用multipath进行多路径绑定

1.安装多路径软件

yum -y install device-mapper-multipath

2.将多路径软件添加至内核模块中

modprobe dm-multipath
modprobe dm-round-robin

3.检查内核添加情况

lsmod |grep multipath
dm_multipath           27792  1 dm_round_robin
dm_mod                124501  9 dm_multipath,dm_log,dm_mirror

4.编辑配置文件multipath.conf

这里的 devnode "^sda"表示对sda不作多路径

vim /etc/multipath.conf
blacklist {
    devnode "^sda"
}
defaults {
    user_friendly_names yes
    path_grouping_policy multibus
    failback immediate
    no_path_retry fail
}

5.启动multipathd服务并加入开机启动

systemctl restart multipathd
systemctl enable multipathd
systemctl status multipathd

6.查看多路径映射关系

这里已经可以看到多路径映射关系了。

[root@racdb1 multipath]# multipath -ll
mpathc (14f504e46494c455277653366667a2d676576792d6a574934) dm-4 OPNFILER,VIRTUAL-DISK
size=22G features='0' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=1 status=active
  |- 10:0:0:2 sdg 8:96 active ready running
  `- 9:0:0:2  sdd 8:48 active ready running
mpathb (14f504e46494c45526c7a6c46784d2d427633512d79636866) dm-3 OPNFILER,VIRTUAL-DISK
size=20G features='0' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=1 status=active
  |- 10:0:0:1 sdf 8:80 active ready running
  `- 9:0:0:1  sdc 8:32 active ready running
mpatha (14f504e46494c4552384f546f46792d666c476c2d4e574d39) dm-2 OPNFILER,VIRTUAL-DISK
size=11G features='0' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=1 status=active
  |- 10:0:0:0 sde 8:64 active ready running
  `- 9:0:0:0  sdb 8:16 active ready running

6.查看磁盘分区情况

可以看到多路径映射后的聚合设备：

[root@racdb1 rules.d]# ll /dev/mapper/mpath*
lrwxrwxrwx. 1 root root 7 Jul 22 10:13 /dev/mapper/mpatha -> ../dm-2
lrwxrwxrwx. 1 root root 7 Jul 22 10:13 /dev/mapper/mpathb -> ../dm-3
lrwxrwxrwx. 1 root root 7 Jul 22 10:13 /dev/mapper/mpathc -> ../dm-4

fdisk -l
lsblk

三、使用udev绑定多路径设备

1.检查磁盘是否已经添加到操作系统中

fdisk -l

2.生成规则文件

for i in 2 3 4; 
do
echo "KERNEL==\"dm-*\", ENV{DEVTYPE}==\"disk\", SUBSYSTEM==\"block\", PROGRAM==\"/usr/lib/udev/scsi_id -g -u -d \$devnode\", RESULT==\"`/usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/dm-$i`\", RUN+=\"/bin/sh -c 'mknod /dev/asm-disk$i b \$major \$minor; chown grid:asmadmin /dev/asm-disk$i; chmod 0660 /dev/asm-disk$i'\"">> /etc/udev/rules.d/99-oracle-asmdevices.rules 
done

如果共享存储中多路径软件已经绑定死了对应关系可以使用

SUBSYSTEM=="block", KERNEL=="sddlmba", GROUP="asmadmin", OWNER="grid", MODE="0660"
SUBSYSTEM=="block", KERNEL=="sddlmbb", GROUP="asmadmin", OWNER="grid", MODE="0660"

3.加载规则文件并重新启动udev

加载规则文件（如果规则文件修改后只需加载规则文件无需重新启动udev）

 /sbin/udevadm control --reload-rules
 /sbin/udevadm trigger --type=devices --action=change

启动udev服务

 systemctl start systemd-udevd.service
 systemctl enable systemd-udevd.service
 systemctl status systemd-udevd.service

4.检查asm磁盘是否生效

[root@racdb1 rules.d]# ll /dev/asm*
brw-rw----. 1 grid asmadmin 253, 2 Jul 22 10:20 /dev/asm-disk2
brw-rw----. 1 grid asmadmin 253, 3 Jul 22 10:20 /dev/asm-disk3
brw-rw----. 1 grid asmadmin 253, 4 Jul 22 10:20 /dev/asm-disk4