DM8 多路径共享存储部署的一次血泪教训

背景

        共享盘是由两块裸设备sdb,sdc多路径映射而成，客户搭建多次都无法正常启动DB服务，其他环境下搭建多路径共享存储集群能正常搭建，客户怀疑是软件在申威环境下兼容性的问题，亦或者是申威环境下多路径存储存在问题。

一、环境规划

只阐述磁盘，操作系统，CPU环境规划

两块裸设备物理磁盘：sdb,sdc

节点一：映射的共享盘名称：sdf

节点二：映射的共享盘名称：sde

实质上是一块共享盘，只是由于某节点对应磁盘名称被占用，故导致两节点映射的磁盘名不一样。

其他环境：麒麟+申威

二、涉及技术及概念描述

2.1多路径技术

    在一台主机和存储阵列端使用多条路径连接，使主机到阵列的可见路径大于一条，其间可以跨过多个交换机，避免在交换机处形成单点故障。在双控器中多路径技术分为：ALUA多路径技术和SLUA多路径技术。    

ALUA多路径技术：非对称逻辑单元存取，其提供了一个路径发现和确定优先级次序的标准化机制，实现主机和存储设备的路径自协商和动态管理。特点就是：对于特定的LUN来说，在他的路径中，一个控制器的目标端口处于主动/优化状态，另一个控制器处于主动/非优化状态。在某一时刻，某个LUN只是属于某一个控制器，要想实现两边的负载均衡，就是将任务A交给控制器A，将任务B交给控制器B，对于同一个任务来说，任何时候只有一个控制器在控制。

SLUA多路径技术：对称逻辑单元存取，是多路径的基本特性。特点就是：对于特定的LUN来说，在它的路径中，两个存储控制器的目标端口均处于主动/优化状态。两个控制器之间实现高速互联的通讯，一个I/O发送到控制器，两个控制器可同时参与处理；当一个控制器繁忙，系统不需要主机端的负载均衡软件参与就可以自动实现负载均衡。

 2.2存储阵列

    由大量的存储单元组成，每个存储单元能存放1位二值数据（0,1）。通常存储单元排列成N行×M列矩阵形式。它是把多个磁盘组成一个阵列，当作单一磁盘使用，它将数据以分段(striping )的方式储存在不同的磁盘中，存取数据时，阵列中的相关磁盘一起动作，大幅减低数据的存取时间，同时有更佳的空间利用率。磁盘阵列所利用的不同的技术，称为RAID level ，不同的level 针对不同的系统及应用，以解决数据安全的问题。

2.3裸设备

    也叫裸分区（原始分区），是一种没有经过格式化，不被Unix通过文件系统来读取的特殊字符设备文件。由应用程序负责对它进行读写操作。不经过文件系统的缓冲。它是不被操作系统直接管理的设备。这种设备少了操作系统这一层，I/O效率更高。不少数据库都能通过使用裸设备作为存储介质来提高I/O效率。

三、问题定位

 根据客户描述，以及环境的特殊性而言，只能从以下三方面来排除问题：

1.配置文件存在问题；

2.多路径共享磁盘存在问题；

3.软件在申威环境下存在兼容性问题。

3.1排查配置文件

    首先校验双节点的配置文件是否出现问题，经校验后其他配置文件并无问题，而dmdcr_cfg.ini配置文件中DCR_OGUID值，节点一设置63636，节点二设置63635，修改此参数值后，并未重启机器，重新通过前台方式启动css，asm，db服务无任何报错信息，启动db服务仍然无法正常重启，报错ASM连接异常。

3.2排查多路径共享磁盘

    经过多次校验所有配置文件，并没发现其他问题。此时，需要考虑是否是因为共享磁盘挂载问题，亦或者多路径共享磁盘本身在申威环境下存在问题。

重新划分并挂载裸设备，可以利用如下两种方式挂载存储。

方式一：raw命令方式挂载     --两节点都需要进行挂载

partprobe /dev/sdb

raw  /dev/raw/raw1  /dev/sdb1 

raw  /dev/raw/raw2  /dev/sdb2

raw  /dev/raw/raw3  /dev/sdb3 

raw  /dev/raw/raw4  /dev/sdb4

raw -qa进行查看

方式二：通过60-raw.rules文件进行挂载  --两节点都需要进行挂载

  partprobe /dev/sdb

重新初始化磁盘组  --操作省略

正常启动CSS服务后，启动ASM服务时，报错ASM被强制关闭。

启动DB服务报错ASM连接异常。

show查看css,asm,db服务状态

发现CSS1处于showdown状态，ASM0,ASM1处于shutdown状态。

重启机器后，并没有做任何操作的情况下，再次启动，css,asm,db服务都能正常启动，前台流程并没有任何报错信息，show查看一切正常。

3.3排查软件在申威环境下兼容性问题

    由于问题已在修改配置文件时，重启机器后解决，故不存在软件在申威平台此版本下无法搭建的问题。

四、小结

    配置dmdcr_cfg.ini配置文件时，需要双节点配置文件一致，如果修改某些参数值后，发现问题仍然未能解决，可以在条件允许的情况下进行重启，也许会有意想不到的效果。此次问题存在的原因可以定位为双节点dmdcr_cfg.ini配置文件中DCR_OGUID值不一致引发的db服务无法正常启动。希望各位小伙伴们，在安装部署各类软件时，需细心做好每一步操作，尽量避免此类问题的发生。

---

参考网址：

DM 数据库快速上手指南 | 达梦技术文档

多路径技术以及双控制器中多路径技术工作原理_zjy123078_zjy的博客-CSDN博客_多路径技术

转载本文请备明出处！！！