HP3par 多路径存储磁盘使用方法

最新推荐文章于 2024-04-17 03:20:45 发布
最新推荐文章于 2024-04-17 03:20:45 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： linux 文章标签： 运维
原文链接：http://blog.itpub.net/31397003/viewspace-2143390/
版权

HP3par 多路径安装方法

1.挂盘/配置好yum源

２.程序包的安装

device-mapper-1.02.95-2.el6.x86_64.rpm
device-mapper-event-1.02.95-2.el6.x86_64.rpm
device-mapper-event-libs-1.02.95-2.el6.x86_64.rpm
device-mapper-libs-1.02.95-2.el6.x86_64.rpm
device-mapper-multipath-0.4.9-87.el6.x86_64.rpm
device-mapper-multipath-libs-0.4.9-87.el6.x86_64.rpm
device-mapper-persistent-data-0.3.2-1.el6.x86_64.rpm
yum install -y device-mapper*

3.启动multipath，并修改为自启动。

/etc/init.d/multipathd start，执行这个命令，启动multipath。

chkconfig --level 345 multipathd on，执行这个命令修为自启动。

4.配置/etc/multipath.conf文件。

该文件的模板，我们可以在/usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf这里找到 ，然后把这个文件复制到/etc目录下，可以执行如下命令，

cp /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf /etc/multipath.conf

然后编辑/etc/mulitpath.conf文件，进行如下的修改:

[root@dbrac1 etc]# vi multipath.conf
# This is a basic configuration file with some examples, for device mapper
# multipath.
# For a complete list of the default configuration values, see
# /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf.defaults
# For a list of configuration options with descriptions, see
# /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf.annotated
#
# REMEMBER: After updating multipath.conf, you must run
#
# service multipathd reload
#
# for the changes to take effect in multipathd

## By default, devices with vendor = "IBM" and product = "S/390.*" are
## blacklisted. To enable mulitpathing on these devies, uncomment the
## following lines.
#blacklist_exceptions {
#       device {
#               vendor  "IBM"
#               product "S/390.*"
#       }
#}

## Use user friendly names, instead of using WWIDs as names.
#defaults {
#       user_friendly_names yes
#}
##
## Here is an example of how to configure some standard options.
##
#
defaults {
        udev_dir                /dev
        polling_interval        10
        path_selector           "round-robin 0"
        path_grouping_policy    multibus
        getuid_callout          "/lib/udev/scsi_id --whitelisted --device=/dev/%n"
        prio                    alua
        path_checker            readsector0
        rr_min_io               100
        max_fds                 8192
        rr_weight               priorities
        failback                immediate
        no_path_retry           fail
        user_friendly_names     yes
}
##
## The wwid line in the following blacklist section is shown as an example
## of how to blacklist devices by wwid.  The 2 devnode lines are the
## compiled in default blacklist. If you want to blacklist entire types
## of devices, such as all scsi devices, you should use a devnode line.
## However, if you want to blacklist specific devices, you should use
## a wwid line.  Since there is no guarantee that a specific device will
## not change names on reboot (from /dev/sda to /dev/sdb for example)
## devnode lines are not recommended for blacklisting specific devices.
##
blacklist {
       wwid 26353900f02796769
        devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
        devnode "^hd[a-z]"
}
#multipaths {
#       multipath {
#               wwid                    3600508b4000156d700012000000b0000
#               alias                   yellow
#               path_grouping_policy    multibus
#               path_checker            readsector0
#               path_selector           "round-robin 0"
#               failback                manual
#               rr_weight               priorities
#               no_path_retry           5
#       }
#       multipath {
#               wwid                    1DEC_____321816758474
#               alias                   red
#       }
#}
#devices {
#       device {
#               vendor                  "COMPAQ  "
#               product                 "HSV110 (C)COMPAQ"
#               path_grouping_policy    multibus
#               getuid_callout          "/lib/udev/scsi_id --whitelisted --device=/dev/%n"
#               path_checker            readsector0
#               path_selector           "round-robin 0"
#               hardware_handler        "0"
#               failback                15
#               rr_weight               priorities
#               no_path_retry           queue
#       }
#       device {
#               vendor                  "COMPAQ  "
#               product                 "MSA1000         "
#               path_grouping_policy    multibus
#       }
#}
"multipath.conf" 96L, 2722C written

其中，blacklist用来添加设备的黑名单，也就是说，设置某些设备，不让它多路径化。比如，我们可以把某些设备的wwid加入在这里

5.执行如下命令

modprobe dm-multipath   
multipath -F            
multipath dm-multipath  
multipath dm-round-robin
/etc/init.d/multipathd restart

执行完成上述命令之后，会在/etc/multipath目录下生成一个bindings这的一个文件，如下:

[root@dbrac1 etc]# modprobe dm-multipath   
WARNING: Deprecated config file /etc/modprobe.conf, all config files belong into /etc/modprobe.d/.
[root@dbrac1 etc]# multipath -F            
[root@dbrac1 etc]# multipath dm-multipath  
Aug 10 22:39:40 | sda: alua not supported
Aug 10 22:39:40 | sdb: alua not supported
Aug 10 22:39:40 | sdc: alua not supported
Aug 10 22:39:40 | sdd: alua not supported
Aug 10 22:39:40 | sde: alua not supported
Aug 10 22:39:40 | sdf: alua not supported
Aug 10 22:39:40 | sdg: alua not supported
Aug 10 22:39:40 | sdh: alua not supported
[root@dbrac1 etc]#
[root@dbrac1 etc]# multipath dm-round-robin
Aug 10 22:39:49 | sda: alua not supported
Aug 10 22:39:49 | sdb: alua not supported
Aug 10 22:39:49 | sdc: alua not supported
Aug 10 22:39:49 | sdd: alua not supported
Aug 10 22:39:49 | sde: alua not supported
Aug 10 22:39:49 | sdf: alua not supported
Aug 10 22:39:49 | sdg: alua not supported
Aug 10 22:39:49 | sdh: alua not supported
[root@dbrac1 etc]# /etc/init.d/multipathd restart
ok
Stopping multipathd daemon: [  OK  ]
Starting multipathd daemon: [  OK  ]
[root@dbrac1 etc]#
[root@dbrac1 etc]# cd /etc/multipath
[root@dbrac1 multipath]# ls
bindings
[root@dbrac1 multipath]# cat bindings
# Multipath bindings, Version : 1.0
# NOTE: this file is automatically maintained by the multipath program.
# You should not need to edit this file in normal circumstances.
#
# Format:
# alias wwid
#
mpatha 1ATA     VBOX HARDDISK                           VBebc3bf35-371818d2
mpathb 1ATA     VBOX HARDDISK                           VB403dd68a-b8a5a8be
mpathc 1ATA     VBOX HARDDISK                           VBcb1b0d8b-1ee73ac2
mpathd 1ATA     VBOX HARDDISK                           VB5eb6b908-65677cda
mpathe 1ATA     VBOX HARDDISK                           VBb020940b-4a482e15
mpathf 1ATA     VBOX HARDDISK                           VBd60d065d-37d1710d
mpathg 1ATA     VBOX HARDDISK                           VBf71eae83-8c806c3b
mpathh 1ATA     VBOX HARDDISK                           VBd46e23c6-7ece6a6e
[root@dbrac1 multipath]#  

这里存放的是多路径的磁盘名称和对应的ID。这时，我们可以使用fdisk -l这个命令查看到这些设备，比如/dev/mapper/mpatha。

6.再次修改/etc/multipath.conf文件，对应ID对应设备的别名。

由于上述的设备名称的可读性不是很好，所以我们要加入方便我们快速读的名称。修改/etc/multipath.conf文件，内容如下:

multipaths {
        multipath {
                wwid                    VB403dd68a-b8a5a8be
                alias                   ocrvotedisk1
                path_grouping_policy    multibus
        }
         multipath {
                wwid                    VBcb1b0d8b-1ee73ac2
                alias                   ocrvotedisk2
                path_grouping_policy    multibus
        }
        multipath {
                wwid                    VB5eb6b908-65677cda
                alias                   ocrvotedisk3
                path_grouping_policy    multibus
        }
        multipath {
                wwid                    VBb020940b-4a482e15
                alias                   fra1
                path_grouping_policy    multibus
        }
         multipath {
                wwid                    VBd60d065d-37d1710d
                alias                   fra2
                path_grouping_policy    multibus
        }
         multipath {
                wwid                    VBf71eae83-8c806c3b
                alias                   data1
                path_grouping_policy    multibus
        }
         multipath {
                wwid                    VBd46e23c6-7ece6a6e
                alias                   data2
                path_grouping_policy    multibus
        }
}

[root@dbrac1 multipath]# cat  /etc/multipath.conf
# This is a basic configuration file with some examples, for device mapper
# multipath.
# For a complete list of the default configuration values, see
# /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf.defaults
# For a list of configuration options with descriptions, see
# /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf.annotated
#
# REMEMBER: After updating multipath.conf, you must run
#
# service multipathd reload
#
# for the changes to take effect in multipathd

## By default, devices with vendor = "IBM" and product = "S/390.*" are
## blacklisted. To enable mulitpathing on these devies, uncomment the
## following lines.
#blacklist_exceptions {
#       device {
#               vendor  "IBM"
#               product "S/390.*"
#       }
#}

## Use user friendly names, instead of using WWIDs as names.
#defaults {
#       user_friendly_names yes
#}
##
## Here is an example of how to configure some standard options.
##
#
defaults {
        udev_dir                /dev
        polling_interval        10
        path_selector           "round-robin 0"
        path_grouping_policy    multibus
        getuid_callout          "/lib/udev/scsi_id --whitelisted --device=/dev/%n"
        prio                    alua
        path_checker            readsector0
        rr_min_io               100
        max_fds                 8192
        rr_weight               priorities
        failback                immediate
        no_path_retry           fail
        user_friendly_names     yes
}
##
## The wwid line in the following blacklist section is shown as an example
## of how to blacklist devices by wwid.  The 2 devnode lines are the
## compiled in default blacklist. If you want to blacklist entire types
## of devices, such as all scsi devices, you should use a devnode line.
## However, if you want to blacklist specific devices, you should use
## a wwid line.  Since there is no guarantee that a specific device will
## not change names on reboot (from /dev/sda to /dev/sdb for example)
## devnode lines are not recommended for blacklisting specific devices.
##
blacklist {
       wwid 26353900f02796769
        devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
        devnode "^hd[a-z]"
}

multipaths {
        multipath {
                wwid                    VB403dd68a-b8a5a8be
                alias                   ocrvotedisk1
                path_grouping_policy    multibus
        }
         multipath {
                wwid                    VBcb1b0d8b-1ee73ac2
                alias                   ocrvotedisk2
                path_grouping_policy    multibus
        }
        multipath {
                wwid                    VB5eb6b908-65677cda
                alias                   ocrvotedisk3
                path_grouping_policy    multibus
        }
        multipath {
                wwid                    VBb020940b-4a482e15
                alias                   fra1
                path_grouping_policy    multibus
        }
         multipath {
                wwid                    VBd60d065d-37d1710d
                alias                   fra2
                path_grouping_policy    multibus
        }
         multipath {
                wwid                    VBf71eae83-8c806c3b
                alias                   data1
                path_grouping_policy    multibus
        }
         multipath {
                wwid                    VBd46e23c6-7ece6a6e
                alias                   data2
                path_grouping_policy    multibus
        }
}
#multipaths {
#       multipath {
#               wwid                    3600508b4000156d700012000000b0000
#               alias                   yellow
#               path_grouping_policy    multibus
#               path_checker            readsector0
#               path_selector           "round-robin 0"
#               failback                manual
#               rr_weight               priorities
#               no_path_retry           5
#       }
#       multipath {
#               wwid                    1DEC_____321816758474
#               alias                   red
#       }
#}
#devices {
#       device {
#               vendor                  "COMPAQ  "
#               product                 "HSV110 (C)COMPAQ"
#               path_grouping_policy    multibus
#               getuid_callout          "/lib/udev/scsi_id --whitelisted --device=/dev/%n"
#               path_checker            readsector0
#               path_selector           "round-robin 0"
#               hardware_handler        "0"
#               failback                15
#               rr_weight               priorities
#               no_path_retry           queue
#       }
#       device {
#               vendor                  "COMPAQ  "
#               product                 "MSA1000         "
#               path_grouping_policy    multibus
#       }
#}
[root@dbrac1 multipath]#

修改完成以后，重启机器即可（注意，在FC存储环境下不需要重新启动机器，直接执行powershell service multipathd reload 命令即可）。

7.重启完成以后查看对应的设备。

重启完成以后，使用fdisk -l命令再次查看，会看到如下的形式的设备。

fdisk -l

8.完成多路径的配置以后，我们还不能直接安装grid，因为多路径对应的设备的权限需要更改。这个时候，我们还需要借助udev来完成

下面，我们来修改多路径的权限,对于多路径操作的有两个位置，/dev/mapper目录对应的文件与/dev/dm-*开头对应的文件。我们只需要修改/dev/dm-*应对的权限就可以了.

第一种方法：我们需要用root修改 disk为grid asmadmin。直接修改，grid还是无法识别，所以，可以通过udev来完成。
在/etc/udev/rules.d目录下，加入如下的文件与内容，

[root@dbrac1 rules.d]# cat 99-asm.rules
KERNEL=="dm-[0-6]", OWNER="grid", GROUP="asmadmin", MODE="0660"
[root@dbrac1 rules.d]#

第二种方法：编辑另外一个udev的配置文件，为12-.rules这样的一个udev的配置文件，比如文件名为12-mulitpath-privs.rules，其内容如下：

[root@dbrac1 rules.d]# cat 12-mulitpath-privs.rules
ENV{DM_NAME}=="ocr*", OWNER:="grid", GROUP:="asmadmin", MODE:="660"
ENV{DM_NAME}=="fra*", OWNER:="grid", GROUP:="asmadmin", MODE:="660"
ENV{DM_NAME}=="data*", OWNER:="grid", GROUP:="asmadmin", MODE:="660"

第三种方法：以上是使用name来进行的，也可以使用uuid，比如如下：

[root@dbrac1 rules.d]# cat 12-mulitpath-privs.rules
ENV{DM_UUID}=="mpath-?*", OWNER:="grid", GROUP:="asmadmin", MODE:="660"
................................
[root@dbrac1 rules.d]#

每个磁盘的uuid可以在/dev/disk/by-id目录下找到，用ls -l命令就可以详细看到。
该udev的配置文件，可以在/usr/share/doc/device-mapper-/12-dm-permissions.rules中找到，这里有详细的模板。
推荐使用第二种方法来修改多路径设备的权限。

至此多路径配置完成了！

----------补充------------------------

#查看是否安装了multipath
rpm -qa | grep device-mapper

#查看本地存储wwid
/lib/udev/scsi_id --whitelisted --device=/dev/sda
36141877030bcca001d9c4d52106b9d90

#查看存储参数
cat /sys/block/sdb/device/vendor
3PARdata

cat /sys/block/sdb/device/model
VV

#清空已有的multipath记录
multipath -F

#打印诊断信息
multipath -v3

#启用多路径守护程序以在引导时启动
mpathconf --enable

#启动多路径服务
service multipathd start

#如果在启动 multipath 守护程序后更改多路径配置文件，请运行以下命令以使更改生效。
service multipathd reload

#重启系统测试
init 6

#查看多路径当前状态
multipath -ll

转载于　http://blog.itpub.net/31397003/viewspace-2143390/

懒羊羊真懒
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
3par初始化
01-15
3par7400初始化，包含有：網絡配置、存儲cpg、lun與vol卷管理。
centos系统/dev/mapper/centos-root目录被占满的解决方式
woaitingting1985的博客
03-15 1900
/dev/mapper/centos-root磁盘占满
3par命令集_3par存储常用命令，2024年最新涨薪7K
最新发布
m0_57540801的博客
04-17 882
16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?5、LVS、Nginx、HAproxy有什么区别?9、讲述一下Tomcat8005、8009、8080三个端口的含义？7、Tomcat和Resin有什么区别，工作中你怎么选择?3、现在给你三百台服务器，你怎么对他们进行管理?15、讲述一下LVS三种模式的工作过程?10、什么叫CDN?
linux给asm添加存储,在Linux 6上使用UDEV解决 ASM存储设备问题
weixin_36050866的博客
05-03 218
1、添加记录到/etc/scsi_id.configecho "options=--whitelisted --replace-whitespace" >> /etc/scsi_id.config2、在本实例中 sdb-> sdd的块设备需要绑定命令如下：for i in b c d;doecho "KERNEL==\"sd*\", BUS==\"scsi\", PROGRAM...
3Par存储详细配置手册（包括存储初始化配置部分）
10-20
我去年发过一个版本，这次这个版本的文档里修正了一些内容，文档前端又添加了一大段解释，如果对存储完全没概念的，可以先看看第二部分“3Par存储基本概念”，有一个了解以后再进行配置。另外我要说明的是，我放这个文档上来不是为了骗分，CSDN的分多了对我也没有什么价值，要了分也算是给自己写文档一点回报和认可，有人在评论里说我放的文档是其他内容，只是文档名改成了这个，这实在是很不责任的评论。
hpe 3par命令行查看状况脚本
mengbing1990的博客
03-06 2703
3par ssh 下查看系统全面信息
HP 3PAR 存储配置手册（详细）
02-22
根据HP原厂工程师的指导，把每一步的详细配置过程按配置顺序都用QQ进行了截图，并在每张截图下面都有详细说明，没接触过3PAR的人用这个手册完全可以完成初始化的配置过程，包括加主机、加CPG、加VV、映射，另外还...
HP 3PAR存储日常管理手册v1.0.pdf
09-29
HP 3PAR存储日常管理手册
hp 3par存储学习笔记
10-21
hp 3par存储学习笔记，文中包含了HP 3PAR存储的相关概念及详细的安装调试步骤
HP 3PAR操作手册
10-17
HP 3PAR存储操作手册是一份详细的使用手册，介绍了存储的初始化、安装配置等。以下是从手册中提取的相关知识点： 知识点1：HP 3PAR管理界面 HP 3PAR Management Console是HP 3PAR存储的管理界面，管理员可以通过该...
HP 3PAR存储系统（4.7） HPE 3PAR Management Console 4.7
03-16
HP 3PAR 存储系统是Hewlett Packard Enterprise（HPE）推出的一款高性能、企业级的存储解决方案，主要用于数据中心环境。版本4.7是该系统的一个重要更新，提供了增强的功能和优化的性能，旨在满足现代数据中心对于...
多路径（multi-path）介绍及使用（HP刀片适用）
Sangruoran的博客
01-05 2324
普通的电脑主机都是一个硬盘挂接到一个总线上，这里是一对一的关系。而到了有光纤组成的SAN环境，由于主机和存储通过了光纤交换机连接，这样的话，就构成了多对多的关系。也就是说，主机到存储可以有多条路径可以选择。主机到存储之间的IO由多条路径可以选择，如下图： 根据上图所示，每个主机到所对应的存储可以经过几条不同的路径，如果是同时使用的话，I/O流量如何分配？其中一条路径坏掉了，如何处理？还有在操
3par linux多路径软件,Redhat6.X 配置HP3PAR7200存储多路径过程
weixin_39943799的博客
05-02 156
1、服务器系统最小化安装，默认是没有multipath，需要自己安装RPM包首先上传rpm到随便一个目录，我这里上传到/mnt下，然后安装RPM包，rpm -ivh 包名2、准备好配置文件：multipath.conf放到位置/etc/multipath.confdefaults {polling_interval 10max_fds 8192}devices...
手动初始化设置3PAR存储系统
weixin_34192732的博客
10-30 2801
准备工作 1. 具备串口的终端电脑（USB to serial）. 2. 使用标记为“180-055”灰色适配器(3par自带). 3. 标准RJ45网线. 4. 下载HP 3par OS及SP Patch包. 5. PuTTY软件（或其他串口软件） 其他说明 手动设置存储系统（OOTB）“即可用IMC进行管理。如需要监控及固件升级...
ansible自动化--部署Ansible
weixin_47746630的博客
08-31 716
1. 构建Ansible清单 1.1 定义清单 清单定义Ansible将要管理的一批主机。这些主机也可以分配到组中，以进行集中管理。组可以包含子组，主机也可以是多个组的成员。清单还可以设置应用到它所定义的主机和组的变量。 可以通过两种方式定义主机清单。静态主机清单可以通过文本文件定义。动态主机清单可以根据需要使用外部信息提供程序通过脚本或其他程序来生成。 1.2 使用静态清单指定受管主机 静态清单文件是指定Ansible目标受管主机的文本文件。可以使用多种不同的格式编写此文件，包括INI样式或YAML。 在
ORA-15038: disk '/dev/mapper/mpath' mismatch on 'Time Stamp' 解决
Silence-墨轩的博客
04-17 2308
由于磁盘组新加磁盘是使用过的磁盘，还有其他磁盘组成员未进行dd操作，恰巧原来磁盘组名称和现有磁盘组名称都叫dgdata，导致报错—往往由于我们忽视了最初的一个点，导致了耗费了巨大的代价，最后都会默默自嘲，原来是这样！！！早上一个同学让帮忙看看数据库集群重启报错的原因。 启动集群，直接报了如下的错： 但是日志中显示dg都mount了啊，为何还是报错呢？ 然后尝试手动启动asm试试
/dev/dm-N、 /dev/mpath/mpathN、/dev/mapper/mpathN的区别
Perry
01-10 2929
When devices are brought under the control of device-mapper-multipath the new multipathed devices can be seen in three different places under the /dev directory: /dev/dm-N, /dev/mapper/mpathN and /d
惠普 3par 存储 双活存储扩容 命令行行操作
02-16
惠普3PAR存储的双活存储扩容可以通过以下命令行操作完成： 1. 首先登录到3PAR存储系统的命令行界面，使用管理员账户和密码进行登录。 2. 然后使用showvv命令查看存储池和卷信息，确认要扩容的卷名称和所在存储池。 3. 使用createvv命令创建新的虚拟卷，并指定要扩容的卷作为基础卷。例如： createvv -snp basevol -tpvv -usrspc <size> -p <cpg> newvol 其中，basevol是要扩容的卷，newvol是新创建的卷，<size>是要扩容的大小，<cpg>是新卷所使用的容量池组。 4. 使用startvv命令启动新创建的虚拟卷。 5. 然后使用svmotion命令将要扩容的卷迁移至新创建的卷上，例如： svmotion -p <cpg> basevol newvol 其中，<cpg>是新卷所使用的容量池组，basevol是要扩容的卷，newvol是新创建的卷。 6. 最后，使用removevv命令删除原始卷，例如： removevv basevol 注意，这一步操作将永久删除原始卷，请确保数据已备份并且不再需要访问。 完成以上操作后，您的3PAR存储的双活存储扩容就完成了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值