为ASM磁盘配置多路径绑定

用于测试多路径绑定的系统环境：Oracle Linux 8.6 X86_64

用于测试的三块磁盘：VMware  NVME 虚拟磁盘

1、获取NVME磁盘WWID
[root@oel yum.repos.d]# cat /sys/class/block/nvme0n2/wwid 
eui.f29a3817e67e6f15000c296a152db6fe
[root@oel yum.repos.d]# cat /sys/class/block/nvme0n3/wwid 
eui.e539e622cdbeebf3000c2966f7c321d3
[root@oel yum.repos.d]# cat /sys/class/block/nvme0n4/wwid 
eui.f063d0f42f036923000c29632a9fd2f7

2、安装多路径软件
yum -y install device-mapper device-mapper-multipath 

在配置文件 /etc/multipath.conf 中加入你需要配置的磁盘信息（红色部分）
# vi /etc/multipath.conf
# device-mapper-multipath configuration file

# For a complete list of the default configuration values, run either:
# # multipath -t
# or
# # multipathd show config

# For a list of configuration options with descriptions, see the
# multipath.conf man page.

defaults {
        user_friendly_names       yes
        polling_interval            10
        queue_without_daemon    no
        flush_on_last_del          yes
        checker_timeout 120
}

blacklist_exceptions {
        property "(SCSI_IDENT_|ID_WWN)"
}

blacklist {
}
devices{
        device {
                vendor                 "MacroSAN"
                product                "LU"
                path_grouping_policy    group_by_prio
                no_path_retry           30
                prio                    const
                path_checker           tur
                path_selector           "service-time 0"
                hardware_handler       "0"
                failback                15
                fast_io_fail_tmo 0
}
}
multipaths {
        multipath {
                wwid eui.f29a3817e67e6f15000c296a152db6fe
                alias ASMDK_01
        }
        multipath {
                wwid eui.e539e622cdbeebf3000c2966f7c321d3
                alias ASMDK_02
        }
        multipath {
                wwid eui.f063d0f42f036923000c29632a9fd2f7
                alias ASMDK_03
        }
}

配置完成后重启服务
# systemctl restart multipathd

查看配置前磁盘信息
[root@oel ~]# lsblk 
NAME          MAJ:MIN RM  SIZE RO TYPE  MOUNTPOINT
sr0            11:0    1 10.6G  0 rom   /media
nvme0n1       259:0    0   20G  0 disk  
├─nvme0n1p1   259:1    0    1G  0 part  /boot
└─nvme0n1p2   259:2    0   19G  0 part  
  ├─ol-root   252:0    0   15G  0 lvm   /
  └─ol-swap   252:1    0    4G  0 lvm   [SWAP]
nvme0n2       259:3    0    2G  0 disk  
└─ASMDK_01 252:2    0    2G  0 mpath 
nvme0n3       259:4    0    2G  0 disk  
└─ASMDK_02 252:3    0    2G  0 mpath 
nvme0n4       259:5    0    2G  0 disk  
└─ASMDK_03 252:4    0    2G  0 mpath 

3、使用parted给磁盘分区
[root@oel ~]# parted /dev/mapper/ASMDK_01 
GNU Parted 3.2
Using /dev/mapper/ASMDK_01
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) mklabel gpt                                                      
(parted) mkpart primary 0% 100%                                           
(parted) name 1 ASMDK_01p1
(parted) print                                                            
Model: Linux device-mapper (multipath) (dm)
Disk /dev/mapper/ASMDK_01: 2147MB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags: 

Number  Start   End     Size    File system  Name           Flags
 1      1049kB  2146MB  2145MB               ASMDK_01p1

(parted) quit                                                             
Information: You may need to update /etc/fstab.
注意：其他磁盘同样按照上述分区即可，如果磁盘用于Oracle ASM存储则不需要为磁盘划分分区，也可以划分分区，但不用格式化分区。

再次查看配置分区后的磁盘信息
[root@oel ~]# lsblk 
NAME              MAJ:MIN RM  SIZE RO TYPE  MOUNTPOINT
sr0                11:0    1 10.6G  0 rom   /media
nvme0n1           259:0    0   20G  0 disk  
├─nvme0n1p1       259:1    0    1G  0 part  /boot
└─nvme0n1p2       259:2    0   19G  0 part  
  ├─ol-root       252:0    0   15G  0 lvm   /
  └─ol-swap       252:1    0    4G  0 lvm   [SWAP]
nvme0n2           259:3    0    2G  0 disk  
└─ASMDK_01     252:2    0    2G  0 mpath 
  └─ASMDK_01p1 252:5    0    2G  0 part  
nvme0n3           259:4    0    2G  0 disk  
└─ASMDK_02     252:3    0    2G  0 mpath 
  └─ASMDK_02p1 252:6    0    2G  0 part  
nvme0n4           259:5    0    2G  0 disk  
└─ASMDK_03     252:4    0    2G  0 mpath 
  └─ASMDK_03p1 252:7    0    2G  0 part 

4、配置用于ASM的磁盘的权限规则
vi 99-oracle-asmdevices.rules 
ENV{DM_NAME}=="ASMDK_*p1",OWNER:="grid",GROUP:="asmadmin",MODE:="660"

重启UDEV服务或者重新加载UDEV刷新规则
# systemctl restart systemd-udevd
# udevadm control --reload-rules

最后查看磁盘权限，发现磁盘权限已经变更为 grid 用户组 asmadmin
[root@oel rules.d]# ls -ltrh /dev/mapper/*
crw-------. 1 root root 10, 236 Jul  4 17:54 /dev/mapper/control
lrwxrwxrwx. 1 root root       7 Jul  4 17:54 /dev/mapper/ol-swap -> ../dm-1
lrwxrwxrwx. 1 root root       7 Jul  4 17:54 /dev/mapper/ol-root -> ../dm-0
lrwxrwxrwx. 1 root root       7 Jul  4 18:24 /dev/mapper/ASMDK_03 -> ../dm-4
lrwxrwxrwx. 1 root root       7 Jul  4 18:24 /dev/mapper/ASMDK_01 -> ../dm-2
lrwxrwxrwx. 1 root root       7 Jul  4 18:24 /dev/mapper/ASMDK_02 -> ../dm-3
lrwxrwxrwx. 1 root root       7 Jul  4 18:24 /dev/mapper/ASMDK_03p1 -> ../dm-7
lrwxrwxrwx. 1 root root       7 Jul  4 18:24 /dev/mapper/ASMDK_01p1 -> ../dm-5
lrwxrwxrwx. 1 root root       7 Jul  4 18:24 /dev/mapper/ASMDK_02p1 -> ../dm-6
[root@oel rules.d]# 
[root@oel rules.d]# ls -ltrh /dev/dm*
brw-rw----. 1 root disk     252, 1 Jul  4 17:54 /dev/dm-1
brw-rw----. 1 root disk     252, 0 Jul  4 17:54 /dev/dm-0
crw-rw----. 1 root audio     14, 9 Jul  4 17:54 /dev/dmmidi
brw-rw----. 1 root disk     252, 2 Jul  4 18:24 /dev/dm-2
brw-rw----. 1 root disk     252, 4 Jul  4 18:24 /dev/dm-4
brw-rw----. 1 root disk     252, 3 Jul  4 18:24 /dev/dm-3
brw-rw----. 1 grid asmadmin 252, 7 Jul  4 18:24 /dev/dm-7
brw-rw----. 1 grid asmadmin 252, 5 Jul  4 18:24 /dev/dm-5
brw-rw----. 1 grid asmadmin 252, 6 Jul  4 18:24 /dev/dm-6

到此 ASM 磁盘多路径绑定配置完成。