DMDSC共享存储集群搭建

一、DMDSC介绍

DM 共享存储数据库集群的英文全称 DM Data Shared Cluster，简称 DMDSC。

DMDSC 集群是一个多实例、单数据库的系统。 多个数据库实例可以同时访问、修改同一个数据库的数据。用户可以登录集群中的任意一个数据库实例，获得完整的数据库服务。

DMDSC 集群主要由数据库和数据库实例、共享存储、DMASM 或 DMASM 镜像、本地存储、通信网络、集群控制软件 DMCSS、集群监视器 DMCSSM 组成。

二、DMDSC前期准备

1、环境配置

1.1 目录规划

	DSC0	DSC1
ip地址	192.168.117.128	192.168.117.129
数据库安装目录	/home/dmdba/dm8	/dm8
配置文件目录	/home/dmdba/data/DAMENG	/dm/data/DAMENG
实例端口号	5237	5238

1.2配置双网卡

双网卡详细的配置过程已在文章《DM数据守护集群搭建》的1.1中进行描述：
DM数据守护集群搭建_JABX_doudou-CSDN博客

1.3添加共享磁盘

第一台机：

第二台机

两台机子都要设置：高级-独立✓-永久✓
两台虚拟机都配备好后到虚拟机创建路径上以笔记本的方式打开.VMX后缀的文件，在文件中添加以下内容：

scsi0.sharedBus = “virtual”
scsi0:1.deviceType = “disk”
disk.locking = “false”
diskLib.dataCacheMaxSize = “0”
diskLib.dataCacheMaxReadAheadSize = “0”
diskLib.DataCacheMinReadAheadSize = “0”
diskLib.dataCachePageSize = “4096”
diskLib.maxUnsyncedWrites = “0”
disk.EnableUUID = “TRUE”

然后重启两台虚拟机，输入以下命令查看磁盘情况：

 fdisk -l

1.4在共享设备上裸设备划分[DSC0 DSC1]

root用户输入fdisk /dev/sdb 命令进行分区操作:

依次输入n -> p -> 1 -> 回车 -> +200M -> 回车，完成第一块磁盘划分
依次输入n -> p -> 2 -> 回车 -> +200M -> 回车，完成第二块磁盘划分
依次输入n -> p -> 3 -> 回车 -> +4096M -> 回车，完成第三块磁盘划分
依次输入n -> p -> 4 -> 回车 -> 回车 -> 回车，完成第四块磁盘划分
最后输入w保存

输入命令partprobe /dev/sdb刷新磁盘, 刷新后再进行查看

编辑两节点下的vim /etc/udev/rules.d/70-persistent-ipoib.rules文件添加以下内容：

ACTION==“add”,KERNEL==“sdb1”,RUN+=“/bin/raw /dev/raw/raw1 %N”
ACTION==“add”,KERNEL==“sdb2”,RUN+=“/bin/raw /dev/raw/raw2 %N”
ACTION==“add”,KERNEL==“sdb3”,RUN+=“/bin/raw /dev/raw/raw3 %N”
ACTION==“add”,KERNEL==“sdb4”,RUN+=“/bin/raw /dev/raw/raw4 %N”
KERNEL==“raw[1-4]”, OWNER=“dmdba”, GROUP=“dinstall”, MODE=“660”

输入udevadm control --reload-rules和udevadm control --reload-rules完成裸设备绑定；查看裸设备：ll /dev/raw/*

三、部署DSC

1、初始化数据DCR 和 Voting Disk

运行dmasmcmd，并执行初始化，在DSC01机上启动：（只需在一台机器执行即可）

在/bin目录下执行以下命令./dmasmcmd

create dcrdisk ‘/dev/raw/raw1’ ‘dcr’
 
create votedisk ‘/dev/raw/raw2’ ‘vote’
 
create asmdisk ‘/dev/raw/raw3’ ‘LOG0’
 
create asmdisk ‘/dev/raw/raw4’ ‘DATA0’
 
init dcrdisk ‘/dev/raw/raw1’ from ‘/home/dmdba/data/DSC01/dmdcr_cfg.ini’ identified by ‘SYSDBA’
 
init votedisk ‘/dev/raw/raw2’ from ‘/home/dmdba/data/DSC01/dmdcr_cfg.ini’

2、 配置文件

2.1 配置dmdcr_cfg.ini文件[DSC0]

在DSC0的虚拟机上 /home/dmdba/data/DAMENG中新建 dmdcr_cfg.ini 配置文件：

vim dmdcr_cfg.ini
在配置文件中添加以下内容：

DCR_N_GRP = 3
DCR_VTD_PATH = /dev/raw/raw2
DCR_OGUID = 63635
[GRP]
DCR_GRP_TYPE = CSS
DCR_GRP_NAME = GRP_CSS
DCR_GRP_N_EP = 2
DCR_GRP_DSKCHK_CNT = 60
[GRP_CSS]
DCR_EP_NAME = CSS0
DCR_EP_HOST = 192.168.117.128     #修改为自己主机的IP
DCR_EP_PORT = 9341
[GRP_CSS]
DCR_EP_NAME = CSS1
DCR_EP_HOST = 192.168.117.129
DCR_EP_PORT = 9342
[GRP]
DCR_GRP_TYPE = ASM
DCR_GRP_NAME = GRP_ASM
DCR_GRP_N_EP = 2
DCR_GRP_DSKCHK_CNT = 60
[GRP_ASM]
DCR_EP_NAME = ASM0
DCR_EP_SHM_KEY = 93360
DCR_EP_SHM_SIZE = 20
DCR_EP_HOST = 192.168.117.128
DCR_EP_PORT = 9349
DCR_EP_ASM_LOAD_PATH = /dev/raw
[GRP_ASM]
DCR_EP_NAME = ASM1
DCR_EP_SHM_KEY = 93361
DCR_EP_SHM_SIZE = 20
DCR_EP_HOST = 192.168.117.129
DCR_EP_PORT = 9350
DCR_EP_ASM_LOAD_PATH = /dev/raw
[GRP]
DCR_GRP_TYPE = DB
DCR_GRP_NAME = GRP_DSC
DCR_GRP_N_EP = 2
DCR_GRP_DSKCHK_CNT = 60
[GRP_DSC]
DCR_EP_NAME = DSC0
DCR_EP_SEQNO = 0
DCR_EP_PORT = 5237     #端口唯一，如已配置数据守护实例，最好不使用相同端口号，否则后续会报错
DCR_CHECK_PORT = 9741
[GRP_DSC]
DCR_EP_NAME = DSC1
DCR_EP_SEQNO = 1
DCR_EP_PORT = 5238
DCR_CHECK_PORT = 9742

2.2 配置DMASM 的 MAL 文件[DSC0 DSC1]

在配置文件目录下创建 dmasvrmal.ini 配置文件，并添加以下内容。使用 DMASM 的所有节点都要配置，内容完全一样。

下面展示一些 内联代码片。

[MAL_INST1]
 MAL_INST_NAME = ASM0
 MAL_HOST = 192.168.117.128
 MAL_PORT = 9236
[MAL_INST2]
 MAL_INST_NAME = ASM1
 MAL_HOST = 192.168.117.129
 MAL_PORT = 9237

2.3 配置 dmdcr.ini 文件[DSC0 DSC1]

DMASM 的两个节点分别配置 dmdcr.ini， 文件内容其他相同，除了dmdcr_seqo 分别为 0 和 1。

DSC0:
DMDCR_PATH = /dev/raw/raw1
DMDCR_MAL_PATH =/home/dmdba/data/DAMENG/dmasvrmal.ini  #dmasmsvr 使用的 MAL 配置文件路径
DMDCR_SEQNO = 0
 
#ASM 重启参数，命令行方式启动
DMDCR_ASM_RESTART_INTERVAL = 0
DMDCR_ASM_STARTUP_CMD =/home/dmdba/dm8/bin/dmasmsvr 		dcr_ini=/home/dmdba/data/DAMENG/dmdcr.ini
 
#DB 重启参数，命令行方式启动
DMDCR_DB_RESTART_INTERVAL = 0
DMDCR_DB_STARTUP_CMD = /dm8/config/dmserver path=/dm8/config/dsc0_config/dm.ini  dcr_ini=/dm8/config/dmdcr.ini
~                                                   

DSC1:
DMDCR_PATH = /dev/raw/raw1
DMDCR_MAL_PATH =/dm/data/DAMENG/dmasvrmal.ini #dmasmsvr 使用的 MAL 配置文件路径
DMDCR_SEQNO = 1
 
#ASM 重启参数，命令行方式启动
DMDCR_ASM_RESTART_INTERVAL = 1
DMDCR_ASM_STARTUP_CMD =/dm8/bin/dmasmsvr dcr_ini= /dm/data/DAMENG/dmdcr.ini
 
#DB 重启参数，命令行方式启动
DMDCR_DB_RESTART_INTERVAL = 1
DMDCR_DB_STARTUP_CMD = /dm8/bin/dmserver path=/dm/data/DAMENG/dm.ini dcr_ini=/dm/data/DAMENG/dmdcr.ini

~

2.4启动DMCSS、DMASM服务程序[DSC0 DSC1]

在DSC0和DSC1上先后启动dmcss、dmasm程序：

DSC0

/home/dmdba/dm8/bin/dmcss DCR_INI=/home/dmdba/data/DAMENG/dmdcr.ini
/dm8/bin/dmasmsvr DCR_INI=/dm/data/DAMENG/dmdcr.ini

DSC1

/dm8/bin/dmcss DCR_INI=/dm/data/DAMENG/dmdcr.ini
/dm8/bin/dmasmsvr DCR_INI=/dm/data/DAMENG/dmdcr.ini

2.5 创建 DMASM 磁盘组[DSC0]

在DSC0上使用dmasmtool工具创建DMASM磁盘组:

./dmasmtool DCR_INI=/home/dmdba/data/DAMENG/dmdcr.ini

#创建日志磁盘组
create diskgroup 'DMLOG' asmdisk '/dev/raw/raw3'
 
#创建数据磁盘组
create diskgroup 'DMDATA' asmdisk '/dev/raw/raw4'

2.6 配置dminit.ini[DSC0]

在配置文件目录下创建dminit.ini文件，并添加以下内容：

db_name = GRP_DSC #初始化数据库名称
system_path = +DMDATA/home/dmdba/data #初始化数据库存放的路径
system = +DMDATA/home/dmdba/data/dsc/system.dbf
system_size = 128
roll = +DMDATA/home/dmdba/data/dsc/roll.dbf
roll_size = 128
main = +DMDATA/home/dmdba/data/dsc/main.dbf
main_size = 128
ctl_path = +DMDATA/home/dmdba/data/dsc/dm.ctl
ctl_size = 8
log_size = 256
dcr_path = /dev/raw/raw1 #dcr 磁盘路径，目前不支持 asm，只能是裸设备
dcr_seqno = 0
auto_overwrite = 1
[DSC0] #inst_name 跟 dmdcr_cfg.ini 中 DB 类型 group 中 DCR_EP_NAME 对应
config_path = /home/dmdba/data/dsc0_config
port_num = 5237
mal_host = 192.168.198.128
mal_port = 9343
log_path = +DMLOG/home/dmdba/data/log/dsc0_log01.log
log_path = +DMLOG/home/dmdba/data/log/dsc0_log02.log
[DSC1] #inst_name 跟 dmdcr_cfg.ini 中 DB 类型 group 中 DCR_EP_NAME 对应
config_path = /home/dmdba/data/dsc1_config
port_num = 5238
mal_host = 192.168.198.129
mal_port = 9344
log_path = +DMLOG/home/dmdba/data/log/dsc1_log01.log
log_path = +DMLOG/home/dmdba/data/log/dsc1_log02.log

2.7 初始化实例[DSC0]

在/dm8/bin目录下输入以下命令，初始化数据库：

./dminit control=/home/dmdba/data/dminit.ini

2.8 复制实例文件

将DSC0上的DMDSC1文件复制到DSC1上的相应目录：

scp -r DMDSC1 192.168.117.129:/dm/data/

2.9启动数据库服务器[DSC0 DSC1]

./dmserver /home/dmdba/data/dsc0_config/dm.ini dcr_ini=/home/dmdba/data/DAMENG/dmdcr.ini##DSC0
 
./dmserver /dm/data/dsc1_config/dm.ini dcr_ini=/dm/data/DAMENG/dmdcr.ini ##DSC1

四、配置监视器

1、配置dmcssm.ini文件[DSC0]

在DSC0下的配置目录下创建dmcssm.ini文件并添加以下内容：

#和 dmdcr_cfg.ini 中的 DCR_OGUID 保持一致
CSSM_OGUID = 63635 
#配置所有 CSS 的连接信息，
#和 dmdcr_cfg.ini 中 CSS 配置项的 DCR_EP_HOST 和 DCR_EP_PORT 保持一致
CSSM_CSS_IP = 192.168.117.128:9341
CSSM_CSS_IP = 192.168.117.129:9342
CSSM_LOG_PATH =/home/dmdba/data/DAMENG/log  #监视器日志文件存放路径
CSSM_LOG_FILE_SIZE = 1024#每个日志文件最大 32M
CSSM_LOG_SPACE_LIMIT = 0 #不限定日志文件总占用空间

2、开启监控器[DSC0]

配置好后在bin目录下执行以下命令开启监控器：

./dmcssm INI_PATH=/home/dmdba/data/DAMENG/dmcssm.ini

输入show查看DSC集群的状况

五、注册服务

1、注册服务[DSC0 DSC1]

要想DSC集群开机自启动的话，需要对实例、dmasm和dmcss注册服务：

##CSS
./dm_service_installer.sh -t dmcss -dcr_ini /home/dmdba/data/DAMENG/dmdcr.ini -p CSS0
./dm_service_installer.sh -t dmcss -dcr_ini /dm/data/DAMENG/dmdcr.ini -p CSS1

##ASM
./dm_service_installer.sh -t dmasmsvr -dcr_ini /home/dmdba/data/DAMENG/dmdcr.ini -p ASM0 -y DmCSSServiceCSS0
./dm_service_installer.sh -t dmasmsvr -dcr_ini /dm/data/DAMENG/dmdcr.ini -p ASM1 -y DmCSSServiceCSS1

##DSC
./dm_service_installer.sh -t dmserver -dm_ini /home/dmdba/data/dsc0_config/dm.ini -p DSC0 -y DmCSSServiceCSS0
./dm_service_installer.sh -t dmserver -dm_ini /dm/data/dsc1_config/dm.ini -p DSC1 -y DmCSSServiceCSS1

修改DSC0和DSC1的配置文件dmdcr.ini ：

将 DMDCR_ASM_RESTART_INTERVAL 与 DMDCR_DB_RESTART_INTERVAL值修改为不等于0 ，css即可自动拉起asm与server服务。

此处改为10，为超过设置的时间后，如果 DMASM 节点与DMDSC节点的 active 标记仍然为 FALSE，则 DMCSS 会执行自动拉起。

2、集群启停顺序

启动顺序：

dmcss→dmasmsvr→dmserver

停止顺序：

dmserver→dmasmsvr→dmcss
DMDSC 环境 Disql 登录实例执行 stop instance，实例会正常退出，不影响其他活动节点正常运行。

六、错误解决

1、启动集群，CSS和ASM启动成功，DSC启动失败

报错原因：实例DSC1启动提示 dm.ctl 控制文件错误

参考技术文档：

到 bin 目录下，进入 ASM 命令行模式

./dmasmcmd 

从asm磁盘中导出配置（这里的/dev/raw/raw1 为当前设备实际的 DCR 磁盘设备节点路径）

export dcrdisk ‘/dev/raw/raw1’ to ‘/tmp/dmdcr_cfg.ini’

退出命令行模式

exit

查看导出的配置信息

cat /tmp/dmdcr_cfg.ini

查看文件报错，原因为/dev目录文件权限为root，需要修改权限

到 bin 目录下进入 ASM 命令行模式

./dmasmcmd

执行清除命令，清除 ASM

clear dcrdisk err_ep_arr ‘/dev/raw/raw1’ ‘GRP_ASM’

清除 DSC

clear dcrdisk err_ep_arr ‘/dev/raw/raw1’ ‘GRP_DSC’

清除故障记录后启动成功

达梦数据库 - 新一代大型通用关系型数据库 | 达梦在线服务平台