Database-基于Linux平台的DMDSC数据库集群搭建

最新推荐文章于 2024-11-15 18:38:47 发布

xin1889

最新推荐文章于 2024-11-15 18:38:47 发布

阅读量425

点赞数

分类专栏： Database 文章标签：数据库 DMDSC 共享存储集群达梦

本文链接：https://blog.csdn.net/xin1889/article/details/112605357

版权

Database 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

DM共享存储数据库集群的英文全称DM Data Shared Cluster，简称DMDSC。DM共享存储数据库集群，允许多个数据库实例同时访问、操作同一数据库，具有高可用、高性能、负载均衡等特性。DMDSC支持故障自动切换和故障自动重加入，某一个数据库实例故障后，不会导致数据库服务无法提供。

实验环境

Hostname	Public-IP	Private-IP	OS	Database
DMDSC-01	192.168.10.101	100.100.100.101	CentOS-7.4 (1708)	DM8-rh7-Linux-64位
DMDSC-02	192.168.10.102	100.100.100.102	CentOS-7.4 (1708)	DM8-rh7-Linux-64位

准备环境

###两个节点分别修改主机名
## 修改主机名 (dmdsc-01 & dmdsc-02)
# dmdsc-01
[root@localhost ~]# echo dmdsc-01 > /etc/hostname

# dmdsc-02
[root@localhost ~]# echo dmdsc-02 > /etc/hostname

###以下所有节点相同操作
## 关闭firewalld & SELinux
[root@dmdsc-01 ~]# systemctl stop firewalld
[root@dmdsc-01 ~]# systemctl disable firewalld
[root@dmdsc-01 ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

## 创建用户和组（dmdba用户密码：dmdba）
[root@dmdsc-01 ~]# groupadd dinstall
[root@dmdsc-01 ~]# useradd -g dinstall -m -d /home/dmdba -s /bin/bash dmdba
[root@dmdsc-01 ~]# echo dmdba | passwd --stdin dmdba

## 修改系统限制
[root@dmdsc-01 ~]# vim /etc/security/limits.conf
@dinstall       soft    nofile  32768
@dinstall       hard    nofile  65536

## 创建目录
[root@dmdsc-01 ~]# mkdir /dm /dmdsc_config
[root@dmdsc-01 ~]# chown -R dmdba:dinstall /dm /dmdsc_config

配置共享磁盘

iSCSI共享磁盘这里不做详解，可以参考iSCSI相关文章。https://blog.csdn.net/xin1889/article/details/80607543。这里划了四块盘，计划分别用来做DCR(DM Clusterware Registry)、表决磁盘(Voting Disk)、LOG、DATA。

## 查看共享磁盘
[root@dmdsc-01 ~]# lsblk
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0  100G  0 disk
├─sda1            8:1    0    1G  0 part /boot
└─sda2            8:2    0   99G  0 part
  ├─centos-root 253:0    0   95G  0 lvm  /
  └─centos-swap 253:1    0    4G  0 lvm  [SWAP]
sdb               8:16   0    5G  0 disk
sdc               8:32   0    5G  0 disk
sdd               8:48   0   10G  0 disk
sde               8:64   0   30G  0 disk

## 编辑/etc/udev/rules.d/60-raw.rules文件
[root@dmdsc-01 ~]# vim /etc/udev/rules.d/60-raw.rules
ACTION=="add", KERNEL=="sdb", RUN+="/bin/raw /dev/raw/raw1 %N"
ACTION=="add", KERNEL=="sdc", RUN+="/bin/raw /dev/raw/raw2 %N"
ACTION=="add", KERNEL=="sdd", RUN+="/bin/raw /dev/raw/raw3 %N"
ACTION=="add", KERNEL=="sde", RUN+="/bin/raw /dev/raw/raw4 %N"

ACTION=="add", KERNEL=="raw[1-4]", OWNER="dmdba", GROUP="dinstall", MODE="660"

## 重启
[root@dmdsc-01 ~]# reboot

## 查看设备
[root@dmdsc-01 ~]# ll /dev/raw/
total 0
crw-rw---- 1 root root 162, 1 Jan 14 19:59 raw1
crw-rw---- 1 root root 162, 2 Jan 14 19:59 raw2
crw-rw---- 1 root root 162, 3 Jan 14 19:59 raw3
crw-rw---- 1 root root 162, 4 Jan 14 19:59 raw4
crw-rw---- 1 root disk 162, 0 Jan 14 19:59 rawctl


## dmdsc-02执行相同操作 ##

安装数据库

## 安装数据库
[root@dmdsc-01 ~]# su - dmdba
[dmdba@dmdsc-01 ~]$ ./DMInstall.bin -i
#安装过程略。。。

## 配置环境变量
[dmdba@dmdsc-01 ~]$ vim .bash_profile
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/dm/bin"
export DM_HOME="/dm"
export PATH="$PATH:$DM_HOME/bin:$DM_HOME/tool"

[dmdba@dmdsc-01 ~]$ exit
logout
[root@dmdsc-01 ~]# vim .bash_profile
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/dm/bin"
export DM_HOME="/dm"
export PATH="$PATH:$DM_HOME/bin:$DM_HOME/tool"

## /etc/ld.so.conf文件中添加/dm/bin目录
[root@dmdsc-01 ~]# vim /etc/ld.so.conf
/dm/bin

[root@dmdsc-01 ~]# ldconfig

## dmdsc-02执行相同操作 ##

配置DMDSC

准备dmdcr_cfg.ini配置文件，放到/dmdsc_config下。后面DMASMCMD命令会用到。

[dmdba@dmdsc-01 ~]$ vim /dmdsc_config/dmdcr_cfg.ini
DCR_N_GRP = 3                           # 集群中组的数量
DCR_VTD_PATH = /dev/raw/raw2           # Voting Disk的路径
DCR_OGUID = 63635
[GRP]                                   # [GRP]表示新建一个Group
DCR_GRP_TYPE = CSS
DCR_GRP_NAME = GRP_CSS
DCR_GRP_N_EP = 2
DCR_GRP_DSKCHK_CNT = 60
[GRP_CSS]                               # []里的是组名,与DCR_GRP_NAME对应
DCR_EP_NAME = CSS1
DCR_EP_HOST = 100.100.100.101
DCR_EP_PORT = 9341
[GRP_CSS]
DCR_EP_NAME = CSS2
DCR_EP_HOST = 100.100.100.102
DCR_EP_PORT = 9343
[GRP]
DCR_GRP_TYPE = ASM
DCR_GRP_NAME = GRP_ASM
DCR_GRP_N_EP = 2
DCR_GRP_DSKCHK_CNT = 60
[GRP_ASM]
DCR_EP_NAME = ASM1
DCR_EP_SHM_KEY = 93360
DCR_EP_SHM_SIZE = 10
DCR_EP_HOST = 192.168.10.101
DCR_EP_PORT = 9349
DCR_EP_ASM_LOAD_PATH = /dev/raw
[GRP_ASM]
DCR_EP_NAME = ASM2
DCR_EP_SHM_KEY = 93361
DCR_EP_SHM_SIZE = 10
DCR_EP_HOST = 192.168.10.102
DCR_EP_PORT = 9351
DCR_EP_ASM_LOAD_PATH = /dev/raw
[GRP]
DCR_GRP_TYPE = DB
DCR_GRP_NAME = GRP_DSC
DCR_GRP_N_EP = 2
DCR_GRP_DSKCHK_CNT = 60
[GRP_DSC]
DCR_EP_NAME = DSC1
DCR_EP_SEQNO = 0
DCR_EP_PORT = 5236
DCR_CHECK_PORT = 9741
[GRP_DSC]
DCR_EP_NAME = DSC2
DCR_EP_SEQNO = 1
DCR_EP_PORT = 5236
DCR_CHECK_PORT = 9742

## 参数说明
1. 在用dmasmcmd工具执行init votedisk disk_path from dcr_cfg_path时，指定的disk_path必须和dcr_cfg_path里面配置的DCR_VTD_PATH相同。
2. 如果配置dmcssm，dmcssm的OGUID必须和DCR_OGUID保持一致
3. DCR_N_GRP必须和实际配置的组数目保持一致
4. CSS和ASM组的DCR_GRP_N_EP要相等，DB的DCR_GRP_N_EP要小于等于CSS/ASM的DCR_GRP_N_EP。
5. ASM节点的DCR_EP_NAME必须和DMASM系统使用的dmmal.ini配置文件里的MAL_INST_NAME保持一致。
6. DB节点的DCR_EP_NAME必须和数据库实例使用dmmal.ini配置文件里的MAL_INST_NAME、以及dm.ini配置文件里的INSTANCE_NAME保持一致。
7. 所有DB节点的DCR_EP_NAME都不能重复，DB组内的DCR_EP_SEQNO不能重复。

在一个节点上，使用DMASMCMD工具初始化磁盘，依次输入以下命令。

[root@dmdsc-01 ~]# dmasmcmd
DMASMCMD V8
ASM>create dcrdisk '/dev/raw/raw1' 'dcr'
[Trace]The ASM initialize dcrdisk /dev/raw/raw1 to name DMASMdcr
Used time: 4.404(ms).

ASM>create votedisk '/dev/raw/raw2' 'vote'
[Trace]The ASM initialize votedisk /dev/raw/raw2 to name DMASMvote
Used time: 2.702(ms).

ASM>create asmdisk '/dev/raw/raw3' 'LOG0'
[Trace]The ASM initialize asmdisk /dev/raw/raw3 to name DMASMLOG0
Used time: 3.107(ms).

ASM>create asmdisk '/dev/raw/raw4' 'DATA0'
[Trace]The ASM initialize asmdisk /dev/raw/raw4 to name DMASMDATA0
Used time: 863.425(ms).

ASM>init dcrdisk '/dev/raw/raw1' from '/dmdsc_config/dmdcr_cfg.ini' identified by 'dmdba'
[Trace]DG 126 allocate 4 extents for file 0xfe000002.
Used time: 00:00:01.210.

ASM>init votedisk '/dev/raw/raw2' from '/dmdsc_config/dmdcr_cfg.ini'
[Trace]DG 125 allocate 4 extents for file 0xfd000002.
Used time: 163.683(ms).

准备DMASM的MAL配置文件dmasvrmal.ini，使用DMASM的节点配置完全一样。保存在配置文件夹/dmdsc_config下。

## 编辑dmasvrmal.ini文件
[root@dmdsc-01 ~]# vim /dmdsc_config/dmasvrmal.ini
[MAL_INST1]
MAL_INST_NAME = ASM1
MAL_HOST = 192.168.10.101
MAL_PORT = 7236

[MAL_INST2]
MAL_INST_NAME = ASM2
MAL_HOST = 192.168.10.102
MAL_PORT = 7237

## 同步到dmdsc-02
[root@dmdsc-01 ~]# scp /dmdsc_config/dmasvrmal.ini 192.168.10.102:/dmdsc_config/

DMASM的两个节点分别配置dmdcr.ini，保存在配置文件夹/dmdsc_config下。dmdcr_path相同，dmasvrmal.ini文件内容也相同，dmdcr_seqo分别为0和1。

dmdsc-01节点：

## dmdsc-01节点
[root@dmdsc-01 ~]# vim /dmdsc_config/dmdcr.ini
DMDCR_PATH = /dev/raw/raw1
DMDCR_MAL_PATH =/dmdsc_config/dmasvrmal.ini     #dmasmsvr使用的MAL配置文件路径
DMDCR_SEQNO = 0

#ASM重启参数，命令行方式启动
DMDCR_ASM_RESTART_INTERVAL = 0
DMDCR_ASM_STARTUP_CMD = /dm/bin/dmasmsvr dcr_ini=/dmdsc_config/dmdcr.ini

#DB重启参数，命令行方式启动
DMDCR_DB_RESTART_INTERVAL = 0
DMDCR_DB_STARTUP_CMD = /dm/bin/dmserver path=/dmdsc_config/dsc1_config/dm.ini dcr_ini=/dmdsc_config/dmdcr.ini

dmdsc-02节点：

## dmdsc-02节点
[root@dmdsc-02 ~]# vim /dmdsc_config/dmdcr.ini
DMDCR_PATH = /dev/raw/raw1
DMDCR_MAL_PATH =/dmdsc_config/dmasvrmal.ini     #dmasmsvr使用的MAL配置文件路径
DMDCR_SEQNO = 1

#ASM重启参数，命令行方式启动
DMDCR_ASM_RESTART_INTERVAL = 0
DMDCR_ASM_STARTUP_CMD = /dm/bin/dmasmsvr dcr_ini=/dmdsc_config/dmdcr.ini

#DB重启参数，命令行方式启动
DMDCR_DB_RESTART_INTERVAL = 0
DMDCR_DB_STARTUP_CMD = /dm/bin/dmserver path=/dmdsc_config/dsc2_config/dm.ini dcr_ini=/dmdsc_config/dmdcr.ini

在两个节点注册DMCSS、DMASM服务。

## dmdsc-01节点
[root@dmdsc-01 ~]# /dm/script/root/dm_service_installer.sh -t dmcss -dcr_ini /dmdsc_config/dmdcr.ini -p dsc1
Created symlink from /etc/systemd/system/multi-user.target.wants/DmCSSServicedsc1.service to /usr/lib/systemd/system/DmCSSServicedsc1.service.
创建服务(DmCSSServicedsc1)完成

[root@dmdsc-01 ~]# /dm/script/root/dm_service_installer.sh -t dmasmsvr -dcr_ini /dmdsc_config/dmdcr.ini -p dsc1 -y DmCSSServicedsc1
Created symlink from /etc/systemd/system/multi-user.target.wants/DmASMSvrServicedsc1.service to /usr/lib/systemd/system/DmASMSvrServicedsc1.service.
创建服务(DmASMSvrServicedsc1)完成


## dmdsc-02节点
[root@dmdsc-02 ~]# /dm/script/root/dm_service_installer.sh -t dmcss -dcr_ini /dmdsc_config/dmdcr.ini -p dsc2
Created symlink from /etc/systemd/system/multi-user.target.wants/DmCSSServicedsc2.service to /usr/lib/systemd/system/DmCSSServicedsc2.service.
创建服务(DmCSSServicedsc2)完成

[root@dmdsc-02 ~]# /dm/script/root/dm_service_installer.sh -t dmasmsvr -dcr_ini /dmdsc_config/dmdcr.ini -p dsc2 -y DmCSSServicedsc2
Created symlink from /etc/systemd/system/multi-user.target.wants/DmASMSvrServicedsc2.service to /usr/lib/systemd/system/DmASMSvrServicedsc2.service.
创建服务(DmASMSvrServicedsc2)完成

在两个节点先后启动DMCSS、DMASM服务。

## dmdsc-01节点
[root@dmdsc-01 ~]# systemctl start DmCSSServicedsc1.service
[root@dmdsc-01 ~]# systemctl start DmASMSvrServicedsc1.service

## dmdsc-02节点
## 手动启动CSS服务
[dmdba@dmdsc-02 ~]$ dmcss DCR_INI=/dmdsc_config/dmdcr.ini
DMCSS V8
DMCSS IS READY
[CSS]: 设置EP CSS2[1]为控制节点

[ASM]: 设置EP ASM1[0]为控制节点

[ASM]: 设置命令[START NOTIFY], 目标站点 ASM1[0], 命令序号[2]

[ASM]: 设置命令[EP START], 目标站点 ASM1[0], 命令序号[3]

[ASM]: 设置命令[NONE], 目标站点 ASM1[0], 命令序号[0]

[ASM]: 设置命令[EP START], 目标站点 ASM2[1], 命令序号[5]

[ASM]: 设置命令[NONE], 目标站点 ASM2[1], 命令序号[0]

[ASM]: 设置命令[EP OPEN], 目标站点 ASM1[0], 命令序号[8]

[ASM]: 设置命令[EP OPEN], 目标站点 ASM2[1], 命令序号[9]

[ASM]: 设置命令[NONE], 目标站点 ASM1[0], 命令序号[0]

[ASM]: 设置命令[NONE], 目标站点 ASM2[1], 命令序号[0]

## 手动启动ASM服务
[dmdba@dmdsc-02 ~]$ /dm/bin/dmasmsvr dcr_ini=/dmdsc_config/dmdcr.ini
ASM SELF EPNO:1
DMASMSVR V8
dmasmsvr task worker thread startup
the ASM server is Ready.
check css cmd: EP START, cmd_seq: 5

ASM Control Node EPNO:0
check css cmd: EP OPEN, cmd_seq: 9

使用dmasmtool工具创建DMASM磁盘组（单节点操作即可)。

## 创建磁盘组LOG和DATA
[root@dmdsc-01 ~]# dmasmtool DCR_INI=/dmdsc_config/dmdcr.ini
DMASMTOOL V8
ASM>create diskgroup 'DMLOG' asmdisk '/dev/raw/raw3'
Used time: 374.517(ms).
ASM>create diskgroup 'DMDATA' asmdisk '/dev/raw/raw4'
Used time: 00:00:10.755.

准备dminit.ini配置文件，保存到/dmdsc_config目录。

## 创建dminit.ini
[dmdba@dmdsc-01 ~]$ vim /dmdsc_config/dminit.ini
db_name = dsc
system_path = +DMDATA/data
system = +DMDATA/data/dsc/system.dbf
system_size = 128
roll = +DMDATA/data/dsc/roll.dbf
roll_size = 128
main = +DMDATA/data/dsc/main.dbf
main_size = 128
ctl_path = +DMDATA/data/dsc/dm.ctl
ctl_size = 8
log_size = 256
dcr_path = /dev/raw/raw1 #dcr磁盘路径，目前不支持asm，只能是裸设备
dcr_seqno = 0
auto_overwrite = 1
[DSC1] #inst_name跟dmdcr_cfg.ini中DB类型group中DCR_EP_NAME对应
config_path = /dmdsc_config/dsc1_config
port_num = 5236
mal_host = 100.100.100.101
mal_port = 9340
log_path = +DMLOG/log/dsc0_log01.log
log_path = +DMLOG/log/dsc0_log02.log
[DSC2] #inst_name跟dmdcr_cfg.ini中DB类型group中DCR_EP_NAME对应
config_path = /dmdsc_config/dsc2_config
port_num = 5236
mal_host = 100.100.100.102
mal_port = 9341
log_path = +DMLOG/log/dsc1_log01.log
log_path = +DMLOG/log/dsc1_log02.log

使用dminit初始化DB环境。选择创建dminit.ini配置文件的节点，启动dminit工具初始化数据库。dminit执行完成后，会在config_path目录（/dmdsc_config/dsc1_config和/dmdsc_config/dsc2_config）下生成配置文件dm.ini和dmmal.ini。将另一个节点的dsc2_config目录发送到相同目录下，再分别启动dmserver即可完成DMDSC集群搭建。

## 初始化DB环境
[dmdba@dmdsc-01 ~]$ dminit control=/dmdsc_config/dminit.ini
initdb V8
db version: 0x7000a
file dm.key not found, use default license!
License will expire on 2021-06-24

 log file path: +DMLOG/log/dsc0_log01.log


 log file path: +DMLOG/log/dsc0_log02.log


 log file path: +DMLOG/log/dsc1_log01.log


 log file path: +DMLOG/log/dsc1_log02.log

write to dir [+DMDATA/data/dsc].
create dm database success. 2021-01-15 00:18:38

## 发送config文件到另一节点
[dmdba@dmdsc-01 ~]$ scp -r /dmdsc_config/dsc2_config/ 192.168.10.102:/dmdsc_config/
dmdba@192.168.10.102's password:
dmmal.ini                                  100%  210   108.6KB/s   00:00
dm.ini                                     100%   48KB  14.5MB/s   00:00
sqllog.ini                                 100%  479   410.0KB/s   00:00

在两个节点分别注册数据库服务。

## dmdsc-01节点
[root@dmdsc-01 ~]# /dm/script/root/dm_service_installer.sh -t dmserver -dm_ini /dmdsc_config/dsc1_config/dm.ini -dcr_ini /dmdsc_config/dmdcr.ini -p dsc1 -y DmASMSvrServicedsc1
Created symlink from /etc/systemd/system/multi-user.target.wants/DmServicedsc1.service to /usr/lib/systemd/system/DmServicedsc1.service.
创建服务(DmServicedsc1)完成

## dmdsc-02节点
[root@dmdsc-02 ~]# /dm/script/root/dm_service_installer.sh -t dmserver -dm_ini /dmdsc_config/dsc2_config/dm.ini -dcr_ini /dmdsc_config/dmdcr.ini -p dsc2 -y DmASMSvrServicedsc2
Created symlink from /etc/systemd/system/multi-user.target.wants/DmServicedsc2.service to /usr/lib/systemd/system/DmServicedsc2.service.
创建服务(DmServicedsc2)完成


## dmdsc-01节点启动数据库，方法一：
[root@dmdsc-01 ~]# systemctl start DmServicedes1.service

## dmdsc-02节点启动数据库，方法二（前端启动，关闭窗口数据库关闭）：
[dmdba@dmdsc-02 ~]$ dmserver /dmdsc_config/dsc2_config/dm.ini dcr_ini=/dmdsc_config/dmdcr.ini -noconsole
file dm.key not found, use default license!
version info: develop
Use normal os_malloc instead of HugeTLB
Use normal os_malloc instead of HugeTLB
DM Database Server x64 V8 1-1-88-20.06.24-123627-ENT  startup...
Database mode = 0, oguid = 0
License will expire on 2021-06-24
check CSS cmd: DCR_LOAD, cmd_seq: 4
check CSS cmd: EP START, cmd_seq: 8
Control Node change from 255 to 0
mal_tsk_process_g_crash_lsn_bro, ep_seqno(0), crash_lsn(0)
mal_tsk_process_g_crash_lsn_bro, ep_seqno(1), crash_lsn(0)

设置服务名

配置服务名文件：/etc/dm_svc.conf，实现故障自动重连。

## 配置服务名
[dmdba@dmdsc-01 ~]$ vim /etc/dm_svc.conf
dsc=(192.168.10.101:5236,192.168.10.102:5236)
SWITCH_TIME=(10000)
SWITCH_INTERVAL=(1000)

[dmdba@dmdsc-01 ~]$ disql sysdba/SYSDBA@dsc

服务器[192.168.10.101:5236]:处于普通打开状态
登录使用时间: 27.091(毫秒)
disql V8
SQL> set linesize 800
SQL> SELECT * FROM V$DSC_EP_INFO;

行号     EP_NAME EP_SEQNO    EP_GUID              EP_TIMESTAMP         EP_MODE      EP_STATUS
---------- ------- ----------- -------------------- -------------------- ------------ ---------
1          DSC1    0           7890825              7891818              Control Node OK
2          DSC2    1           7945797              7946590              Normal Node  OK

已用时间: 6.668(毫秒). 执行号:507.