达梦-DCS共享存储

最新推荐文章于 2024-06-15 19:50:46 发布

坠入暮云间_

最新推荐文章于 2024-06-15 19:50:46 发布

阅读量384

点赞数

分类专栏： DM8 文章标签：数据库服务器网络

本文链接：https://blog.csdn.net/m0_67269899/article/details/126862279

版权

DM8 专栏收录该内容

12 篇文章 1 订阅

订阅专栏

DM8-DCS共享存储

1. 介绍

1.1 DMDSC介绍

DMDSC适用于密集交易型场景的共享存储集群，采用单库多实例架构，基于共享存储上的多个节点对外提供服务，实现高吞吐量；自动接管故障节点，保证系统高可用性；对标 RAC 架构，是适合金融行业核心生产系统的解决方案。

在这里插入图片描述

1.1.1 数据库和数据库实例

数据库(Database)是一个文件集合(包括数据文件、临时文件、重做日志文件和控制文件等)，保存在物理磁盘或文件系统中。

数据库实例就是一组操作系统进程(或者是一个多线程的进程)以及一些内存。通过数据库实例，可以操作数据库，一般情况下，我们访问、修改数据库都是通过数据库实例来完成的。

1.1.2 共享存储

DMDSC集群中，为了实现多个实例同时访问、修改数据，要求将数据文件、控制文件、日志文件保存在共享存储上。DMDSC支持使用裸设备或DMASM文件系统作为共享存储。

配置DMDSC集群需要的DCR、Voting disk也必须保持在共享存储上(目前仅支持裸设备存放SCR和Voting disk)。

本地归档日志也可以保存在共享存储上，不过这样会占用较为宝贵的共享存储资源。

1.1.3 本地存储

DMDSC集群中，本地存储用来保护配置文件(记录数据库实录配置信息的dm.ini、dmatch.ini、dmmal.ini)，本地归档日志、远程归档日志。

1.1.4 通信网络

DMDSC集群中，网络分为内部网络和公共网络两个部分。实际应用中一般还存在服务器到共享存储的网络。内部网络用于数据库实例之间交换信息和数据，MAL链路使用的就是内部网络。公共网络用于对外剔红数据服务，用户使用公共网络地址登录DMDSC集群，访问数据库。

1.1.5 集群控制

集群控制是集群系统中重要的组成部分，DMCSS就是一款集群控制软件，专门负责监控集群中各个节点的运行状态。DMCSS主要功能包括：管理集群的启动和关闭，控制节点故障处理，以及管理节点重加入流程。

1.2 系统特性

DMDSC的主要特点：
高可用性	只要集群中有一个活动节点，就能正常提供数据库服务。
高吞吐量	多个节点同时提供数据库服务，有效提升集群的整体事务处理能力。
负载均衡	用户的连接请求被平均分配到集群中的各个节点，确保各个节点的负载大致平衡。

1.2.1 高可用性

DMDSC集群提供了一种达梦数据库高可用解决方案。当出现系统故障、硬件故障、或认为操作失误时，DMCSS检测故障、并自动将故障节点提出集群，保证数据库服务的正常提供。

1.2.2 高吞吐量

DMDSC集群中包含多个数据库实例，数据库实例访问独立的处理器、内存，数据库实例之间通过缓存交换技术提升共享数据的访问速度，每个数据库实例都可以接收并处理用户的各种数据库请求。

1.2.3 负载均衡

用户通过配置DM数据库连接服务名来访问DMDSC集群，可以实现节点间的自动负载均衡，用户的数据库连接请求会被自动、平均的分配到DMDSC集群中的各个节点。并且练级服务名支持JDBC、DPI、ODBC、DCI、.Net Provider等各种数据库接口。

1.3 DMDCS实现原理

	DMDSC 是一个共享存储的数据库集群系统。多个数据库实例同时访问、修改同一个数据库，因此必然带来了全局并发问题。DMDSC 集群基于单节点数据库管理系统之上，改造了 Buffer 缓冲区、事务系统、封锁系统和日志系统等，来适应共享存储集群节点间的全局并发访问控制要求。同时，引入缓存交换技术，提升数据在节点间的传递效率。

2. 创建共享磁盘

2.1 节点1操作

准备添加磁盘.

在这里插入图片描述

添加磁盘.

在这里插入图片描述

选择硬件类型.

在这里插入图片描述

选择磁盘类型.

在这里插入图片描述

选择新建磁盘.

在这里插入图片描述

选择磁盘容量.

在这里插入图片描述

指定磁盘文件.

在这里插入图片描述

创建完成，选择高级.

在这里插入图片描述

修改节点为 SCSI 1:0

⚠️不要选择独立，选择独立后续 rac1 节点共享会出现报错，磁盘已被使用.

在这里插入图片描述

修改完成保存.

在这里插入图片描述

2.2 节点2操作

准备添加节点2的硬盘.

在这里插入图片描述

选择添加硬盘.

在这里插入图片描述

选择硬件类型.

在这里插入图片描述

选择磁盘类型.

在这里插入图片描述

⚠️选择使用现有虚拟磁盘，即刚才创建的节点1的磁盘.

在这里插入图片描述

选择现有磁盘文件.

在这里插入图片描述

选择高级.

在这里插入图片描述

虚拟节点改为 SCSI 1:0

在这里插入图片描述

保存.

在这里插入图片描述

2.3 修改虚拟机文件

打开虚拟机目录.

在这里插入图片描述

使用记事本打开. hostname.vmx

在这里插入图片描述

⚠️两个节点都要添加以下信息，黄色为必加项，否则重启虚拟机操作系统时会提示磁盘被锁定.

diskLib.dataCacheMaxSize=0

diskLib.dataCacheMaxReadAheadSize=0

diskLib.dataCacheMinReadAheadSize=0

diskLib.dataCachePageSize=4096

diskLib.maxUnsyncedWrites = “0”

disk.locking = “FALSE”

在这里插入图片描述

开启虚拟机检查.

在这里插入图片描述

2.4 裸设备划分

节点2操作.

[root@dm04 ~]# fdisk /dev/sdb
 依次输入 n → p → 1 →回车→ +100M →回车，完成第一块磁盘划分 
 依次输入 n → p → 2 →回车→ +100M →回车，完成第二块磁盘划分 
 依次输入 n → p → 3 →回车→ +2048M →回车，完成第三块磁盘划分 
 依次输入 n → p → 4 →回车→回车→回车，完成第四块磁盘划分
 w保存配置并退出

在这里插入图片描述

检查.

[root@dm01 ~]# fdisk -l

在这里插入图片描述

2.5 裸设备绑定

新建udev规则文件.两个节点都执行

[root@dm01 ~]# cat /etc/udev/rules.d/70-persistent-ipoib.rules
ACTION=="add",KERNEL=="sdb1",RUN+="/bin/raw /dev/raw/raw1 %N"
ACTION=="add",KERNEL=="sdb2",RUN+="/bin/raw /dev/raw/raw2 %N"
ACTION=="add",KERNEL=="sdb3",RUN+="/bin/raw /dev/raw/raw3 %N"
ACTION=="add",KERNEL=="sdb4",RUN+="/bin/raw /dev/raw/raw4 %N"
ACTION=="add",KERNEL=="raw[1-4]", OWNER="dmdba", GROUP="dinstall", MODE="660"

执行以下命令使其文件生效.

[root@dm01 ~]# udevadm trigger --type=devices --action=change

检查.

⚠️如果不成功则需要重启服务器.

[root@dm01 ~]# ll /dev/raw/raw*
crw-rw---- 1 dmdba dinstall 162, 1 9月   5 09:58 /dev/raw/raw1
crw-rw---- 1 dmdba dinstall 162, 2 9月   5 09:58 /dev/raw/raw2
crw-rw---- 1 dmdba dinstall 162, 3 9月   5 09:58 /dev/raw/raw3
crw-rw---- 1 dmdba dinstall 162, 4 9月   5 09:58 /dev/raw/raw4
crw-rw---- 1 root  disk     162, 0 9月   5 09:58 /dev/raw/rawctl

2.6 配置DCR初始化配置文件

两个节点都执行，配置一样

[root@dm01 ~]# su - dmdba 
[dmdba@dm01 ~]$ mkdir -p /home/dmdba/config
[dmdba@dm01 ~]$ cat /home/dmdba/config/dmdcr_cfg.ini
DCR_N_GRP             = 3
DCR_VTD_PATH          = /dev/raw/raw2
DCR_OGUID         = 63635  
[GRP]
 DCR_GRP_TYPE         = CSS  
 DCR_GRP_NAME         = CSS
 DCR_GRP_N_EP         = 2
 DCR_GRP_DSKCHK_CNT   = 60
[CSS]
 DCR_EP_NAME          = CSS1
 DCR_EP_HOST          = 10.0.0.21
 DCR_EP_PORT          = 9341
[CSS]
 DCR_EP_NAME          = CSS2
 DCR_EP_HOST          = 10.0.0.23
 DCR_EP_PORT          = 9341
  
[GRP]
 DCR_GRP_TYPE         = ASM
 DCR_GRP_NAME         = ASM
 DCR_GRP_N_EP         = 2
 DCR_GRP_DSKCHK_CNT   = 60
[ASM]
 DCR_EP_NAME          = ASM1
 DCR_EP_SHM_KEY       = 93360
 DCR_EP_SHM_SIZE      = 10
 DCR_EP_HOST          = 10.0.0.21
 DCR_EP_PORT          = 9351
 DCR_EP_ASM_LOAD_PATH  = /dev/raw
[ASM]
 DCR_EP_NAME          = ASM2
 DCR_EP_SHM_KEY       = 93361
 DCR_EP_SHM_SIZE      = 10
 DCR_EP_HOST          = 10.0.0.23
 DCR_EP_PORT          = 9351
 DCR_EP_ASM_LOAD_PATH  = /dev/raw
  
[GRP]
 DCR_GRP_TYPE         = DB
 DCR_GRP_NAME         = DSC
 DCR_GRP_N_EP         = 2
 DCR_GRP_DSKCHK_CNT   = 60
[DSC]
 DCR_EP_NAME         = DSC1
 DCR_EP_SEQNO                 = 0
 DCR_EP_PORT         = 5237
 DCR_CHECK_PORT            = 9741  
[DSC]
 DCR_EP_NAME         = DSC2
 DCR_EP_SEQNO                 = 1
 DCR_EP_PORT         = 5237
 DCR_CHECK_PORT            = 9741

2.7 创建ASM磁盘

在一个节点执行.

[root@dm01 ~]# su - dmdba 
[dmdba@dm01 ~]$ cd /dm8/bin
[dmdba@dm01 /dm8/bin]$ ./dmasmcmd 
DMASMCMD V8
ASM> create dcrdisk '/dev/raw/raw1' 'dcr'
ASM> create votedisk '/dev/raw/raw2' 'vote'
ASM> create asmdisk '/dev/raw/raw3' 'LOG0'
ASM> create asmdisk '/dev/raw/raw4' 'DATA0'

在这里插入图片描述

初始化dcrdisk和votedisk.

ASM>init dcrdisk '/dev/raw/raw1' from '/home/dmdba/config/dmdcr_cfg.ini' identified by '123456'
ASM>init votedisk '/dev/raw/raw2' from '/home/dmdba/config/dmdcr_cfg.ini'

在这里插入图片描述

2.8 配置DMASM的MAL配置文件

两个节点都要配置，配置一样.

[dmdba@dm01 /dm8/bin]$ cat /home/dmdba/config/dmasvrmal.ini 
[MAL_INST1]
 MAL_INST_NAME = ASM1
 MAL_HOST = 10.0.0.21
 MAL_PORT = 7236
[MAL_INST2]
 MAL_INST_NAME = ASM2
 MAL_HOST = 10.0.0.23
 MAL_PORT = 7237

2.9 配置dmdcr.ini文件

节点1配置：

[root@dm01 ~]# cat /home/dmdba/config/dmdcr.ini 
DMDCR_PATH     = /dev/raw/raw1
DMDCR_MAL_PATH =/home/dmdba/config/dmasvrmal.ini  #dmasmsvr 使用的 MAL 配置文件路径
DMDCR_SEQNO   = 0
#ASM 重启参数，命令行方式启动
DMDCR_ASM_RESTART_INTERVAL =10
DMDCR_ASM_STARTUP_CMD = /dm8/bin/dmasmsvr  dcr_ini=/home/dmdba/config/dmdcr.ini
#DB 重启参数，命令行方式启动
DMDCR_DB_RESTART_INTERVAL = 30
DMDCR_DB_STARTUP_CMD = /dm8/bin/dmserver  path=/home/dmdba/config/dsc1/dm.ini dcr_ini=/home/dmdba/config/dmdcr.ini

节点2配置：

[root@dm04 ~]# cat /home/dmdba/config/dmdcr.ini 
DMDCR_PATH     = /dev/raw/raw1
DMDCR_MAL_PATH =/home/dmdba/config/dmasvrmal.ini  #dmasmsvr 使用的 MAL 配置文件路径
DMDCR_SEQNO   = 1
#ASM 重启参数，命令行方式启动
DMDCR_ASM_RESTART_INTERVAL =10
DMDCR_ASM_STARTUP_CMD = /dm8/bin/dmasmsvr  dcr_ini=/home/dmdba/config/dmdcr.ini
#DB 重启参数，命令行方式启动
DMDCR_DB_RESTART_INTERVAL = 30
DMDCR_DB_STARTUP_CMD = /dm8/bin/dmserver  path=/home/dmdba/config/dsc2/dm.ini dcr_ini=/home/dmdba/config/dmdcr.ini

2.10 启动DMCSS服务

两个节点都要启动.

[dmdba@dm04 /dm8/bin]$ ./dmcss dcr_ini=/home/dmdba/config/dmdcr.ini

在这里插入图片描述

2.11 启动dmasmtool

ASM启动后，节点1启动dmasmtool工具

[dmdba@dm01 /dm8/bin]$ ./dmasmtool dcr_ini=/home/dmdba/config/dmdcr.ini
DMASMTOOL V8
ASM> create diskgroup 'DMLOG' asmdisk '/dev/raw/raw3'
ASM> create diskgroup 'DMDATA' asmdisk '/dev/raw/raw4'

在这里插入图片描述

2.12 初始化共享存储集群数据库实例

节点1使用dmdba用户执行：

[dmdba@dm01 ~]$ cat /home/dmdba/config/dminit.ini
db_name        = DSC
system_path       = +DMDATA/data

system        = +DMDATA/data/dsc/system.dbf
system_size       = 128
roll     = +DMDATA/data/dsc/roll.dbf
roll_size     = 128
main     = +DMDATA/data/dsc/main.dbf
main_size     = 128
ctl_path     = +DMDATA/data/dsc/dm.ctl
ctl_size     = 8
log_size     = 256
dcr_path     = /dev/raw/raw1   #dcr 磁盘路径，目前不支持 asm，只能是裸设备
dcr_seqno     = 0
auto_overwrite   = 1
[DSC1] #inst_name 跟 dmdcr_cfg.ini 中 DB 类型 group 中 DCR_EP_NAME 对应
config_path    = /home/dmdba/config/dsc1
port_num     = 5236
mal_host     = 10.0.0.21
mal_port     = 9236
log_path     = +DMLOG/log/DSC1_log01.log
log_path     = +DMLOG/log/DSC1_log02.log
[DSC2] #inst_name 跟 dmdcr_cfg.ini 中 DB 类型 group 中 DCR_EP_NAME 对应
config_path    = /home/dmdba/config/dsc2
port_num     = 5236
mal_host     = 10.0.0.24
mal_port     = 9236
log_path     = +DMLOG/log/DSC2_log01.log
log_path     = +DMLOG/log/DSC2_log02.log

初始化实例，节点1执行.

[dmdba@dm01 /dm8/bin]$ ./dminit control=/home/dmdba/config/dminit.ini

在这里插入图片描述

将dcs2目录复制到节点2目录下.

[dmdba@dm01 /dm8/bin]$ cd /home/dmdba/config/
[dmdba@dm01 ~/config]$ scp -r dsc2 10.0.0.24:`pwd`

在这里插入图片描述

2.13 启动CSS和ASM

两个节点都要启动.

节点1：
[dmdba@dm01 /dm8/bin]$ ./dmcss dcr_ini=/home/dmdba/config/dmdcr.ini
[dmdba@dm01 /dm8/bin]$ ./dmserver /home/dmdba/config/dsc1/dm.ini dcr_ini=/home/dmdba/config/dmdcr.ini
节点2：
[dmdba@dm04 /dm8/bin]$ ./dmcss dcr_ini=/home/dmdba/config/dmdcr.ini
[dmdba@dm04 /dm8/bin]$ ./dmserver /home/dmdba/config/dsc2/dm.ini dcr_ini=/home/dmdba/config/dmdcr.ini

3. 监视器

3.1 配置监视器

[dmdba@dm01 ~]$ cat /home/dmdba/config/dmcssm.ini 
#和 dmdcr_cfg.ini 中的 DCR_OGUID 保持一致
CSSM_OGUID = 63635
#配置所有 CSS 的连接信息，
#和 dmdcr_cfg.ini 中 CSS 配置项的 DCR_EP_HOST 和 DCR_EP_PORT 保持一致
CSSM_CSS_IP = 10.0.0.21:9341
CSSM_CSS_IP = 10.0.0.24:9341
CSSM_LOG_PATH =/home/dmdba/dmdbms/log #监视器日志文件存放路径
CSSM_LOG_FILE_SIZE = 32 #每个日志文件最大 32 MB
CSSM_LOG_SPACE_LIMIT = 0 #不限定日志文件总占用空间

3.2 启动监视器

[dmdba@dm01 /dm8/bin]$ ./dmcssm ini_path=/home/dmdba/config/dmcssm.ini

在这里插入图片描述

4. 注册服务

4.1 注册CSS

[root@dm01 ~]# cd /dm8/script/root/
节点1：
[root@dm01 /dm8/script/root]# ./dm_service_installer.sh -t dmcss -p dsc1 -dcr_ini /home/dmdba/config/dmdcr.ini
节点2：
[root@dm04 /dm8/script/root]# ./dm_service_installer.sh -t dmcss -p dsc2 -dcr_ini /home/dmdba/config/dmdcr.ini

4.2 注册ASM

[root@dm01 ~]# cd /dm8/script/root/
节点1：
[root@dm01 /dm8/script/root]# ./dm_service_installer.sh -t dmasmsvr -p dsc1 -dcr_ini /home/dmdba/config/dmdcr.ini -y DmCSSServicedsc1
节点2：
[root@dm04 /dm8/script/root]# ./dm_service_installer.sh -t dmasmsvr -p dsc2 -dcr_ini /home/dmdba/config/dmdcr.ini -y DmCSSServicedsc2

4.3 注册server

[root@dm01 ~]# cd /dm8/script/root/
节点1：
[root@dm01 /dm8/script/root]# ./dm_service_installer.sh -t dmserver -p dsc1 -dm_ini /home/dmdba/config/dsc1/dm.ini -dcr_ini /home/dmdba/config/dmdcr.ini -y DmASMSvrServicedsc1
节点2：
[root@dm04 /dm8/script/root]# ./dm_service_installer.sh -t dmserver -p dsc2 -dm_ini /home/dmdba/config/dsc2/dm.ini -dcr_ini /home/dmdba/config/dmdcr.ini -y DmASMSvrServicedsc2

4.4 修改配置文件

节点1：

[dmdba@dm01 ~]$ cat /home/dmdba/config/dmdcr.ini 
DMDCR_PATH     = /dev/raw/raw1
DMDCR_MAL_PATH =/home/dmdba/config/dmasvrmal.ini  #dmasmsvr 使用的 MAL 配置文件路径
DMDCR_SEQNO   = 0
#ASM 重启参数，命令行方式启动
DMDCR_ASM_RESTART_INTERVAL =10
DMDCR_ASM_STARTUP_CMD = /dm8/bin/DmASMSvrServicedsc1 start
#DB 重启参数，命令行方式启动
DMDCR_DB_RESTART_INTERVAL = 30
DMDCR_DB_STARTUP_CMD = /dm8/bin/DmServicedsc1 start

节点2：

[dmdba@dm04 ~]$ cat /home/dmdba/config/dmdcr.ini 
DMDCR_PATH     = /dev/raw/raw1
DMDCR_MAL_PATH =/home/dmdba/config/dmasvrmal.ini  #dmasmsvr 使用的 MAL 配置文件路径
DMDCR_SEQNO   = 0
#ASM 重启参数，命令行方式启动
DMDCR_ASM_RESTART_INTERVAL =10
DMDCR_ASM_STARTUP_CMD = /dm8/bin/DmASMSvrServicedsc2 start
#DB 重启参数，命令行方式启动
DMDCR_DB_RESTART_INTERVAL = 30
DMDCR_DB_STARTUP_CMD = /dm8/bin/DmServicedsc2 start