使用ISCSI+Multipath配置共享存储

最新推荐文章于 2024-07-09 18:02:38 发布
最新推荐文章于 2024-07-09 18:02:38 发布
阅读量573 收藏 2
点赞数 1
分类专栏： 集群 Oracle 文章标签： 数据库 oracle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43250333/article/details/113617965
版权

环境说明

VMware下CentOS7，额外添加一块硬盘具体如下：

[root@orcl1 dev]# lsblk
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0  200G  0 disk
├─sda1            8:1    0    1G  0 part /boot
└─sda2            8:2    0  199G  0 part
  ├─centos-root 253:0    0   50G  0 lvm  /
  ├─centos-swap 253:1    0    2G  0 lvm  [SWAP]
  └─centos-home 253:2    0  147G  0 lvm  /home
sdb               8:16   0   20G  0 disk
sdc               8:32   0  100G  0 disk
sr0              11:0    1 1024M  0 rom

需要制作ASM磁盘组，分别为DATA→60G，OCR→5G，FRI→15G，REDO→10G*2

磁盘分区

[root@orcl1 ~]# lsblk
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0  200G  0 disk
├─sda1            8:1    0    1G  0 part /boot
└─sda2            8:2    0  199G  0 part
  ├─centos-root 253:0    0   50G  0 lvm  /
  ├─centos-swap 253:1    0    2G  0 lvm  [SWAP]
  └─centos-home 253:2    0  147G  0 lvm  /home
sdb               8:16   0   20G  0 disk
sdc               8:32   0  100G  0 disk
├─sdc1            8:33   0   50G  0 part
├─sdc2            8:34   0    1K  0 part
├─sdc5            8:37   0   10G  0 part
├─sdc6            8:38   0   10G  0 part
├─sdc7            8:39   0   15G  0 part
└─sdc8            8:40   0    5G  0 part
sr0              11:0    1 1024M  0 rom

部署ISCSI

#在需要共享存储的节点**安装**以下包
yum install epel-release
yum install scsi-target-utils iscsi-initiator-utils –y
eg：
[root@orcl1 ~]# systemctl start tgtd
[root@orcl1 ~]# systemctl enable tgtd
Created symlink from /etc/systemd/system/multi-user.target.wants/tgtd.service to /usr/lib/systemd/system/tgtd.service.
[root@orcl1 ~]# systemctl start iscsid
[root@orcl1 ~]# systemctl enable iscsid
Created symlink from /etc/systemd/system/multi-user.target.wants/iscsid.service to /usr/lib/systemd/system/iscsid.service. 
[root@orcl2 ~]#  systemctl start tgtd
[root@orcl2 ~]# systemctl enable tgtd
Created symlink from /etc/systemd/system/multi-user.target.wants/tgtd.service to /usr/lib/systemd/system/tgtd.service.
[root@orcl2 ~]# systemctl start iscsid
[root@orcl2 ~]# systemctl enable iscsid
Created symlink from /etc/systemd/system/multi-user.target.wants/iscsid.service to /usr/lib/systemd/system/iscsid.service. 

#在服务端**创建target**，这里服务端为orcl1
[root@orcl1 ~]# tgtadm --lld iscsi --mode target --op new --tid 01 --targetname ocr
[root@orcl1 ~]# tgtadm --lld iscsi --mode target --op new --tid 02 --targetname data
[root@orcl1 ~]# tgtadm --lld iscsi --mode target --op new --tid 03 --targetname fri
[root@orcl1 ~]# tgtadm --lld iscsi --mode target --op new --tid 04 --targetname redo1
[root@orcl1 ~]# tgtadm --lld iscsi --mode target --op new --tid 05 --targetname redo2

#在服务端**添加LUN**
[root@orcl1 ~]# tgtadm --lld iscsi --mode logicalunit --op new --tid 01 --lun 01 --backing-store /dev/sdc8
[root@orcl1 ~]# tgtadm --lld iscsi --mode logicalunit --op new --tid 02 --lun 02 --backing-store /dev/sdc1
[root@orcl1 ~]# tgtadm --lld iscsi --mode logicalunit --op new --tid 03 --lun 03 --backing-store /dev/sdc7
[root@orcl1 ~]# tgtadm --lld iscsi --mode logicalunit --op new --tid 04 --lun 04 --backing-store /dev/sdc5
[root@orcl1 ~]# tgtadm --lld iscsi --mode logicalunit --op new --tid 05 --lun 05 --backing-store /dev/sdc6

#服务端**添加绑定**
[root@orcl1 ~]# tgtadm --lld iscsi --mode target --op bind --tid 01 --initiator-address ALL
[root@orcl1 ~]# tgtadm --lld iscsi --mode target --op bind --tid 02 --initiator-address ALL
[root@orcl1 ~]# tgtadm --lld iscsi --mode target --op bind --tid 03 --initiator-address ALL
[root@orcl1 ~]# tgtadm --lld iscsi --mode target --op bind --tid 04 --initiator-address ALL
[root@orcl1 ~]# tgtadm --lld iscsi --mode target --op bind --tid 05 --initiator-address ALL

#生成配置文件，避免重启失效
tgt-admin --dump > /etc/tgt/targets.conf 

#各个节点**进行侦测**测试
[root@orcl1 ~]# iscsiadm -m discovery -t sendtargets -p  192.168.103.75
192.168.103.75:3260,1 ocr
192.168.103.75:3260,1 data
192.168.103.75:3260,1 fri
192.168.103.75:3260,1 redo1
192.168.103.75:3260,1 redo2
[root@orcl2 ~]# iscsiadm -m discovery -t sendtargets -p  192.168.103.75
192.168.103.75:3260,1 ocr
192.168.103.75:3260,1 data
192.168.103.75:3260,1 fri
192.168.103.75:3260,1 redo1
192.168.103.75:3260,1 redo2

#侦测正常后**进行连接**，两个节点执行
[root@orcl1 ~]# iscsiadm --mode node --targetname ocr --portal 192.168.103.75:3260 --login
Logging in to [iface: default, target: ocr, portal: 192.168.103.75,3260] (multiple)
iscsiadm --mode node --targetname data --portal 192.168.103.75:3260 --login
Login to [iface: default, target: ocr, portal: 192.168.103.75,3260] successful.
[root@orcl1 ~]# iscsiadm --mode node --targetname data --portal 192.168.103.75:3260 --login
Logging in to [iface: default, target: data, portal: 192.168.103.75,3260] (multiple)
Login to [iface: default, target: data, portal: 192.168.103.75,3260] successful.
[root@orcl1 ~]# iscsiadm --mode node --targetname fri --portal 192.168.103.75:3260 --login
Logging in to [iface: default, target: fri, portal: 192.168.103.75,3260] (multiple)
Login to [iface: default, target: fri, portal: 192.168.103.75,3260] successful.
[root@orcl1 ~]# iscsiadm --mode node --targetname redo1 --portal 192.168.103.75:3260 --login
Logging in to [iface: default, target: redo1, portal: 192.168.103.75,3260] (multiple)
Login to [iface: default, target: redo1, portal: 192.168.103.75,3260] successful.
[root@orcl1 ~]# iscsiadm --mode node --targetname redo2 --portal 192.168.103.75:3260 --login
Logging in to [iface: default, target: redo2, portal: 192.168.103.75,3260] (multiple)
Login to [iface: default, target: redo2, portal: 192.168.103.75,3260] successful.
[root@orcl1 ~]# lsblk
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0  200G  0 disk
├─sda1            8:1    0    1G  0 part /boot
└─sda2            8:2    0  199G  0 part
  ├─centos-root 253:0    0   50G  0 lvm  /
  ├─centos-swap 253:1    0    2G  0 lvm  [SWAP]
  └─centos-home 253:2    0  147G  0 lvm  /home
sdb               8:16   0   20G  0 disk
sdc               8:32   0  100G  0 disk
├─sdc1            8:33   0   50G  0 part
├─sdc2            8:34   0    1K  0 part
├─sdc5            8:37   0   10G  0 part
├─sdc6            8:38   0   10G  0 part
├─sdc7            8:39   0   15G  0 part
└─sdc8            8:40   0    5G  0 part
sdd               8:48   0    5G  0 disk
sde               8:64   0   50G  0 disk
sdf               8:80   0   15G  0 disk
sdg               8:96   0   10G  0 disk
sdh               8:112  0   10G  0 disk
sr0              11:0    1 1024M  0 rom   这里可能会出现盘符和大小两个节点对应不上的问题，具体解决方式在下面

部署Multipath

经过iscsi构造的共享磁盘也就是上面的sdd到sdh，在asm中需要建立为多路径磁盘，以下操作在两个节点执行

#**安装**软件包，两个节点执行
yum -y install device-mapper-* device-mapper-multipath-* device-mapper-1* 

#**启动**多路径，并且执行命令自动创建模板
[root@orcl1 ~]# /etc/init.d/multipathd start
Starting multipathd (via systemctl):                       [  OK  ]

#编辑多路径**配置文件**
[root@orcl1 ~]# vim /etc/multipath.conf 
multipaths {
   multipath {
           wwid "360000000000000000e00000000010001"
           alias ocr
             }
   multipath {
           wwid "360000000000000000e00000000020002"
           alias data
             }
   multipath {
           wwid "360000000000000000e00000000030003"
           alias fri
             }
   multipath {
           wwid "360000000000000000e00000000040004"
           alias redo1
             }
   multipath {
           wwid "360000000000000000e00000000050005"
           alias redo2
             }
}
注：这里的wwid获取方式有很多种，只是作为标识区分的要求并不严格，使用scsi_id编号区分也是可以的，但是会出现别名不生效的问题，故恢复上面的编码方式。查看scsi_id可以使用[root@orcl1 ~]#  tgt-admin --show       

#重启multipath服务，并查看多路径情况
[root@orcl1 ~]# /etc/init.d/multipathd restart
Restarting multipathd (via systemctl):                     [  OK  ]
[root@orcl1 ~]# multipath -ll
redo2 (360000000000000000e00000000050005) dm-7 IET     ,VIRTUAL-DISK
size=10G features='0' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=1 status=active
  `- 7:0:0:5 sdh 8:112 active ready running
fri (360000000000000000e00000000030003) dm-5 IET     ,VIRTUAL-DISK
size=15G features='0' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=1 status=active
  `- 5:0:0:3 sdf 8:80  active ready running
redo1 (360000000000000000e00000000040004) dm-6 IET     ,VIRTUAL-DISK
size=10G features='0' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=1 status=active
  `- 6:0:0:4 sdg 8:96  active ready running
data (360000000000000000e00000000020002) dm-4 IET     ,VIRTUAL-DISK
size=50G features='0' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=1 status=active
  `- 4:0:0:2 sde 8:64  active ready running
ocr (360000000000000000e00000000010001) dm-3 IET     ,VIRTUAL-DISK
size=5.0G features='0' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=1 status=active
  `- 3:0:0:1 sdd 8:48  active ready running                
[root@orcl1 ~]#  ll /dev/mapper/
total 0
lrwxrwxrwx 1 root root       7 Feb  3 19:02 centos-home -> ../dm-2
lrwxrwxrwx 1 root root       7 Feb  3 19:02 centos-root -> ../dm-0
lrwxrwxrwx 1 root root       7 Feb  3 19:02 centos-swap -> ../dm-1
crw------- 1 root root 10, 236 Feb  3 19:02 control
lrwxrwxrwx 1 root root       7 Feb  3 19:23 data -> ../dm-4
lrwxrwxrwx 1 root root       7 Feb  3 19:23 fri -> ../dm-5
lrwxrwxrwx 1 root root       7 Feb  3 19:23 ocr -> ../dm-3
lrwxrwxrwx 1 root root       7 Feb  3 19:23 redo1 -> ../dm-6
lrwxrwxrwx 1 root root       7 Feb  3 19:23 redo2 -> ../dm-7

绑盘操作

以下操作两个节点执行

#编辑udev规则文件
[root@orcl1 rules.d]# vim 12-dm-permissions.rules
ENV{DM_NAME}=="ocr", OWNER:="grid", GROUP:="oinstall", MODE:="660"
ENV{DM_NAME}=="data", OWNER:="grid", GROUP:="oinstall", MODE:="660"
ENV{DM_NAME}=="fri", OWNER:="grid", GROUP:="oinstall", MODE:="660"
ENV{DM_NAME}=="redo1", OWNER:="grid", GROUP:="oinstall", MODE:="660"
ENV{DM_NAME}=="redo2", OWNER:="grid", GROUP:="oinstall", MODE:="660" 

#使生效
[root@orcl1 rules.d]# udevadm control --reload-rules
[root@orcl1 rules.d]# udevadm trigger

至此整个ASM存储部署完成

Z.l_
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux磁盘存储多路径Multipath使用iSCSI共享磁盘配置实战
没刮胡子的程序员专栏
08-19 141
Multipath，在Linux系统中，是一种用于实现设备路径冗余和负载均衡的机制。该技术允许同一个存储设备通过多条物理路径连接到服务器，从而提高系统的可靠性和存储效率。Multipath I/O（输入/输出）技术指利用两个以上的路径同时在CPU与存储设备之间传送信号，以达到侦错与强化效能的目的。在Linux中，多路径软件Device Mapper MultiPath（简称DM-MultiPath）是实现多路径功能的核心组件。它提供了有逻辑的管理I/O路径的方法，即在基础设备顶端生成单一多路径设备。
ISCSI、Multipath多路径及UDEV与NFS的概述与配置
BELONE
10-10 1424
ISCSI、Multipath多路径及UDEV与NFS CLUSTER ⦁ 存储的目标 — 存储是根据不同的应用环境，通过采取合理、安全、有效的方式将数据保存到某些介质上并能够保证有效的访问 — 一方面它是数据临时或长期驻留的物理媒介上 — 另一方面，它是保证数据完整安全存放的方式或行为 — 存贮就是把这两个方面结合起来，向客户提供一套数据存放的解决方案 ⦁ 存储的技术分类 ⦁ SCSI小型计算机...
RedHat5.4上iscsi+multipath多路径存储配置
db commando
06-06 5209
最近在RedHat上搭建Oracle 11g r2 RAC，其中存储管理是采用iscsi+multipath的方式 ，所以将这部分的管理配置单独拿出来另写一篇，仅供参考。 概要 一：安装iscsi包。 二：启用iscsi设备。 三：安装Multipath包。 四：配置Multipath参数。 五：重启multipathd 服务，验证配置 正文 一：安装iscsi包
iscsi的multipath配置
bodouer7979的博客
07-19 1057
iSCSI简介iSCSI（Internet Small Computer System Interface，发音为/аɪskʌzi/），Internet小型计算机系统接口，又称为IP-SAN，是一种基于因特网及SCSI-3协议下的存储技术，由IETF提出，并于2003年2月11日成为正式的标准。iSCSI是一种基于TCP/IP 的协议，用来建立和管理IP存储设备、主机和客户机...
多路径软件multipath配置详解
最新发布
wonderviolet的博客
07-09 1645
multipath-tools
iSCSI 相关 --Multipath
jiaju_cao的专栏
09-21 541
第一步安装 iSCSI Initiator for Linux 在 Centos 5 软体内就有 iSCSI Initiator .          rpm -Uvh iscsi-initiator-utils-6.2.0.871-0.10.el5.i386.rpm
OPENFILER构建软iSCSI && multipath实现多路径聚合（二）
刘元林的博客
01-22 1125
Linux服务器挂载iSCSI磁盘 安装iSCSI initiator 探测器 查看iSCSI存储 挂载iSCSI磁盘 multipath实现多路径聚合 安装multipath 初始化multipath 使能开机自启动 && 启动multipath服务 配置multipath（选） 挂载multipath设备 卸载磁盘阵列 Linux服务器挂载iSCSI磁盘 安装iSCSI initiator 探测器 yum -y install iscsi-initiator-
搭建ISCSI存储服务器及multipath多路径存储方案
小へ斌斌丶呀~的博客
03-08 580
搭建ISCSI存储服务器及multipath多路径存储方案。
iscsi多路径客户端的配置
weixin_34092370的博客
03-23 641
1.配置系统YUM源：[163]name=163baseurl=http://mirrors.163.com/centos/6/os/x86_64/enabled=1gpgcheck=02.安装软件包：yuminstalliscsi*yum-yinstalldevice-mapper-multipath3.配置多路径支持...
centos上iscsi+multipath多路径存储配置手册.pdf
07-13
iSCSI 协议使得服务器能够通过 IP 网络连接到远程存储设备，从而实现存储资源的共享和虚拟化。 多路径存储 多路径存储（Multi-Path Storage）是一种存储技术，通过多个路径连接到同一个存储设备，实现存储资源的高...
04 ceph+kvm使用iscsi+multipath多路径实现高可用
那个疯纸
04-10 1305
操作系统：centos7.5_1804 3.10.0-957.5.1.el7.x86_64 前提：ceph集群已创建rbd并已映射 服务端执行： 1.yum -y install targetd targetcli 2.设置开机自启 systemctl start targetd systemctl enable targetd systemctl status target 3.执行target...
openfiler安装&ISCSI配置及存储共享
10-12
OpenFiler 安装与 iSCSI 配置及存储共享 OpenFiler 是一个基于 Linux 的开源存储解决方案，提供了...在本文中，我们详细介绍了 OpenFiler 的安装、iSCSI 配置及存储共享，帮助读者更好地理解 OpenFiler 的使用方法。
openfiler+multipath多路径+udev配置共享存储
06-14
本套课程详细讲解了使用openfiler模拟共享存储,安装Oracle RAC集群需要共享存储,可以使用虚拟机自身的功能进行模拟,也可以使用此方式进行模拟，此方式更加贴近生产，课程中还讲解了multipath多路径和udev绑定的配置。
iscsi与multipath
weixin_34365635的博客
10-01 450
2016-10-01/21:07:24 http://www.cnblogs.com/wuchanming/p/4019660.htmlhttp://czmmiao.iteye.com/blog/2055805 http://lookingdream.blog.51cto.com/5177800/1825286　　还有些细节要仔细看   官网与相关标准 http://www.open-i...
Linux Multipath+iscsi实现多路径配置
Wielun
03-20 6158
一、Multipath介绍 1、Multipath简介 普通的电脑主机都是一个硬盘挂接到一个总线上，这里是一对一的关系。而到了有光纤组成的SAN环境，由于主机和存储通过了光纤交换机连接，这样的话，就构成了多对多的关系。也就是说，主机到存储可以有多条路径可以选择。主机到存储之间的IO由多条路径可以选择。 2、实现功能 故障的切换和恢复 IO流量的负载均衡 磁盘的虚拟化 二、实验环境...
md3600i存储服务器连接 iscsi+multipath配置
好记忆也需烂博客
03-11 7890
md3600i存储服务器连接 iscsi+multipath配置 存储器：dell ms3600i     管理IP:192.168.128.101     RAID0 iSCSI ip1:192.168.10.11     RAID0 iSCSI ip2:192.168.10.12     RAID1 iSCSI ip1:192.168.10.13     RAID1 iSC
multipath多路径实验01-构建iSCSI模拟环境
weixin_33738578的博客
07-18 163
multipath多路径实验01-构建iSCSI模拟环境 前几天跟同事网上闲聊技术，吐槽之前自己没有配置过多路径的经历，虽然多路径的配置过程很简单，职责划分也应是主机或存储工程师来搞定，DBA只需要直接拿来用，但这样总感觉少了些踏实感。 本着学习的心态，在虚拟环境下模拟，来做一个多路径的实验。 本文主要描述使用iscsi模拟存储划出的1个LUN，最终由两条链路连接到主机，显示为两个磁盘的场景。为后...
使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径（multipath）的测试
okhymok的博客
07-29 1895
第一章 本篇总览   之前发布了一篇《Oracle_lhr_RAC 12cR1安装》，但是其中的存储并没有使用多路径，而是使用了VMware自身提供的存储。所以，年前最后一件事就是把多路径学习一下，本文介绍了OpenFiler、iSCSI和多路径的配置。 本文内容：     第二章 安装OpenFiler OpenFile是在rPath Linux基础上开发的，它能够作为一个独立的L
Oracle之利用iscsi构建RAC共享存储测试
热门推荐
雨花石
02-24 1万+
iscsi 共享存储 oracle rac asm 共享存储
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值