DM8 datawatch4.0读写分离集群部署

DM8 datawatch4.0读写分离集群部署

本篇主要是集群部署配置,关于更详细的说明可以参考官方文档:《DM8_Data_Watch_And_Read_Write_Shunt_V4.0》
此次环境为1主1备读写分离集群搭建部署,1主多备的环境与1主1备的环境部署没有太大差别。
1主多备环境,需要在dmarch.ini,dmmal.ini中 添加相应备库信息。

一、环境规划

1.1 环境说明

组名为”GRP1”,主库命名为:”GRP1_DM_DW01”,备库命名为:”GRP1_DM_DW02”

主机类型IP Addr实例名操作系统
主库192.168.12.12GRP1_DM_DW01NeoKylin Linux Advanced Server 6
备库库192.168.12.11GRP1_DM_DW02NeoKylin Linux Advanced Server 6
主库192.168.12.10-NeoKylin Linux Advanced Server 6
关于IP配置,可以只使用1个IP进行对外和集群间的通信。也可以单独配置集群的通信IP

1.2 端口规划

实例名PORT_NUMMAL_INST_DW_PORTMAL_HOSTMAL_PORTMAL_DW_PORT
GRP1_DM_DW0152365338192.168.12.1154385538
GRP1_DM_DW0252365338192.168.12.1254385538

二、软件安装

2.1 主备操作系统配置

参考《DM笔记之安装1:DM7 For NeoKylin A6》
https://www.cndba.cn/LeeWen2020/article/4151

2.2 主备服务器数据库软件安装

[root@dm8dw01 opt]# mount -o loop dm8_setup_rh6_64_ent_8.1.1.72_20200403.iso /mnt/
[root@dm8dw01 ~]# su - dmdba
[dmdba@dm8dw01 ~]$ mkdir tmp
[dmdba@dm8dw01 ~]$ export DM_INSTALL_TMPDIR=/home/dmdba/tmp
[dmdba@dm8dw01 ~]$ cd /mnt/
[dmdba@dm8dw01 mnt]$ ./DMInstall.bin
或者可以使用./DMInstall.bin -i  命令行方式安装,同样简单方便。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

[root@dm8dw02 ~]# /dm8/dmdbms/script/root/root_installer.sh
移动 /dm8/dmdbms/bin/dm_svc.conf 到/etc目录
修改服务器权限
创建DmAPService服务
移动服务脚本文件(/dm8/dmdbms/bin/DmAPService 到 /etc/rc.d/init.d/DmAPService)
创建服务(DmAPService)完成
启动DmAPService服务
Starting DmAPService:                                      [ OK ]

三、主备库实例初始化

根据官方文档《DM8_Data_Watch_And_Read_Write_Shunt_V4.0》 7.1 小节说明:
对于新初始化的库,首次启动不允许使用 Mount 方式,需要先正常启动并正常退出,然后才允许 Mount 方式启动。
准备数据时,如果主库是新初始化的库,先正常启动并正常退出,然后再使用备份还原方式准备备库数据。

3.1 创建主库

[dmdba@dm8dw01 bin]$ ./dminit PATH=/dm8/data DB_NAME=DWTEST INSTANCE_NAME=GRP1_DM_DW01 PORT_NUM=5238

注意:此处初始化SYSDBA密码等其他选项均为默认值
需要使用dmserver正常启动数据库完成初始化。
根据官方文档《DM8_Data_Watch_And_Read_Write_Shunt_V4.0》 7.1 小节说明,
对于新初始化的库需要先正常启动并正常退出,然后才允许mount方式启动。

[dmdba@dm8dw01 bin]$ ./dmserver /dm8/data/DWTEST/dm.ini
file dm.key not found, use default license!
version info: develop
Use normal os_malloc instead of HugeTLB
Use normal os_malloc instead of HugeTLB
DM Database Server x64 V8 1-1-72-20.04.03-119959-ENT  startup...
Database mode = 0, oguid = 0
License will expire on 2021-04-03
file lsn: 0
ndct db load finished
ndct fill fast pool finished
iid page's trxid[1002]
NEXT TRX ID = 1003
pseg_collect_items, collect 0 active_trxs, 0 cmt_trxs, 0 pre_cmt_trxs, 0 active_pages, 0 cmt_pages, 0 pre_cmt_pages
pseg_process_collect_items end, 0 active trx, 0 active pages, 0 committed trx, 0 committed pages
total 0 active crash trx, pseg_crash_trx_rollback begin ...
pseg_crash_trx_rollback end
purg2_crash_cmt_trx end, total 0 page purged
set EP[0]'s pseg state to inactive
pseg recv finished
nsvr_startup end.
aud sys init success.
aud rt sys init success.
trx: 2004 purged 1 pages
trx: 2023 purged 1 pages
....
....
systables desc init success.
ndct_db_load_info success.
nsvr_process_before_open begin.
nsvr_process_before_open success.
total 0 active crash trx, pseg_crash_trx_rollback begin ...
pseg_crash_trx_rollback end
SYSTEM IS READY.

3.2 注册服务并启动实例

[root@dm8dw01 root]# pwd
/dm8/dmdbms/script/root
[root@dm8dw01 root]# ./dm_service_installer.sh -t dmserver -dm_ini /dm8/data/DWTEST/dm.ini -p DWTEST
移动服务脚本文件(/dm8/dmdbms/bin/DmServiceDWTEST 到 /etc/rc.d/init.d/DmServiceDWTEST)
创建服务(DmServiceDWTEST)完成
[root@dm8dw01 root]# service DmServiceDWTEST start
Starting DmServiceDWTEST:                                  [ OK ]

3.3 创建备库实例

[dmdba@dm8dw02 ~]$ cd $DM_HOME/bin
[dmdba@dm8dw02 bin]$ ./dminit PATH=/dm8/data DB_NAME=DWTEST INSTANCE_NAME=GRP1_DM_DW02 PORT_NUM=5238
initdb V8
db version: 0x7000a
file dm.key not found, use default license!
License will expire on 2021-04-03

 log file path: /dm8/data/DWTEST/DWTEST01.log

 log file path: /dm8/data/DWTEST/DWTEST02.log

write to dir [/dm8/data/DWTEST].
create dm database success. 2020-05-05 19:32:57
[dmdba@dm8dw01 bin]$ ./dmserver /dm8/data/DWTEST/dm.ini

四、配置主备库

4.1 配置主库参数文件

DM DataWatch 2.1版本参数和 4.0版本的参数配置有些区别。
具体可以参考《DM8_Data_Watch_And_Read_Write_Shunt_V4.0》和《DM8_Data_Watch_And_Read_Write_Shunt_V2.1》

4.1.1 配置dm.ini

在主库机器上配置主库的实例名为 GRP1_DM_DW01, dm.ini 参数修改如下:

#实例名,总长度不能超过 16
INSTANCE_NAME = GRP1_RWW_01
PORT_NUM = 5236 			#数据库实例监听端口
DW_INACTIVE_INTERVAL = 60   #接收守护进程消息超时时间
ALTER_MODE_STATUS = 0       #不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2       #不允许备库OFFLINE表空间
MAL_INI = 1 				#打开MAL系统
ARCH_INI = 1 				#打开归档配置
RLOG_SEND_APPLY_MON = 64    #统计最近64次的日志发送信息
4.1.2 配置dmmal.ini

配置 MAL 系统,各主备库的 dmmal.ini 配置必须完全一致, MAL_HOST 使用内部网络 IP,MAL_PORT 与 dm.ini 中 PORT_NUM 使用不同的端口值, MAL_DW_PORT 是各实例对应的守护进程之间,以及守护进程和监视器之间的通信端口,配置如下:

vi dmmal.ini

MAL_CHECK_INTERVAL = 5 			#MAL链路检测时间间隔
MAL_CONN_FAIL_INTERVAL = 5 		#判定MAL链路断开的时间
[MAL_INST1]
MAL_INST_NAME = GRP1_RWW_01 	#实例名,和dm.ini中的INSTANCE_NAME一致
MAL_HOST = 192.168.12.12		#MAL系统监听TCP连接的IP地址
MAL_PORT = 5438 				#MAL系统监听TCP连接的端口
MAL_INST_HOST = 192.168.12.12 	#实例的对外服务IP地址
MAL_INST_PORT = 5236			#实例的对外服务端口,和dm.ini中的PORT_NUM一致
MAL_DW_PORT = 5538 			#实例对应的守护进程监听TCP连接的端口
MAL_INST_DW_PORT = 5338 		#实例监听守护进程TCP连接的端口
[MAL_INST2]
MAL_INST_NAME = GRP1_RWW_02
MAL_HOST = 192.168.12.11
MAL_PORT = 5438
MAL_INST_HOST = 192.168.12.11
MAL_INST_PORT = 5236
MAL_DW_PORT = 5538
MAL_INST_DW_PORT = 5338
4.1.3 配置dmarch.ini

dmarch.ini,配置本地归档和即时归档。
除了本地归档外,其他归档配置项中的ARCH_DEST表示实例是Primary模式时,
需要同步归档数据的目标实例名。
当前实例GRP1_RWW_01是主库,需要向即时备库GRP1_RWW_02同步数据,
因此即时归档的ARCH_DEST配置为GRP1_RWW_02。

vi dmarch.ini

[ARCHIVE_TIMELY1]
ARCH_TYPE = TIMELY 					#即时归档类型
ARCH_DEST = GRP1_RWW_02 			#即时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL 					#本地归档类型
ARCH_DEST = /dm8/data/DAMENG/arch 	#本地归档文件存放路径
ARCH_FILE_SIZE = 128				#单位Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 2048 			#单位Mb,0表示无限制,范围1024~4294967294M
4.1.4 配置dmwatcher.ini

配置守护进程,配置为全局守护类型,使用自动切换模式。

vi dmwatcher.ini

[GRP1]
DW_TYPE = GLOBAL 					#全局守护类型
DW_MODE = AUTO 						#自动切换模式
DW_ERROR_TIME = 10 					#远程守护进程故障认定时间
INST_RECOVER_TIME = 60 				#主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 				#本地实例故障认定时间
INST_OGUID = 453332 				#守护系统唯一OGUID值
INST_INI = /dm8/data/DAMENG/dm.ini 	#dm.ini配置文件路径
INST_AUTO_RESTART = 1 				#打开实例的自动启动功能
INST_STARTUP_CMD = /dm8/dmdbms/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 			#指定主库发送日志到备库的时间阀值,默认关闭
RLOG_APPLY_THRESHOLD = 0 			#指定备库重演日志的时间阀值,默认关闭
4.1.5 备份主库数据库并拷贝到备库

DM DataWatch4.0 必须先通过备份还原方式来对各备库进行初始化。可以采用联机备份也可以采用脱机备份。这里采用rman脱机备份。备份之前检查dmap是否已启动,需启动dmap。

cd $DM_HOME/bin
./dmrman CTLSTMT="BACKUP DATABASE '/dm8/data/DAMENG/dm.ini' FULL BACKUPSET '/dm8/dmbak/bak01'"

拷贝至备库服务器
cd /dm8/dmbak/
scp -r bak01 192.168.12.11:/dm8/dmbak

4.1.6 启动主库到mount状态
 ./dmserver /dm8/data/DWTEST/dm.ini mount
4.1.7 设置主库OGUID并修改数据库模式
---设置所有主库的OGUID
SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
sp_set_oguid(453332);      ---与dmmal.ini中INST_OGUID相同
SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);

---修改主库模式
alter database primary;

4.2 配置备库参数文件

备库参数文件只需要主库调整dm.ini 的实例名以及dmarch.ini中的实例名。

4.2.1 配置dm.ini

在主库机器上配置主库的实例名为 GRP1_DM_DW01, dm.ini 参数修改如下:

INSTANCE_NAME = GRP1_RWW_02
PORT_NUM = 5236 			#数据库实例监听端口
DW_INACTIVE_INTERVAL = 60   #接收守护进程消息超时时间
ALTER_MODE_STATUS = 0       #不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2       #不允许备库OFFLINE表空间
MAL_INI = 1 				#打开MAL系统
ARCH_INI = 1 				#打开归档配置
RLOG_SEND_APPLY_MON = 64    #统计最近64次的日志发送信息
4.2.2 配置dmmal.ini

配置 MAL 系统,各主备库的 dmmal.ini 配置必须完全一致, MAL_HOST 使用内部网络 IP, MAL_PORT 与 dm.ini 中 PORT_NUM 使用不同的端口值, MAL_DW_PORT 是各实例对应的守护进程之间,以及守护进程和监视器之间的通信端口,配置如下:

MAL_CHECK_INTERVAL = 5 			#MAL链路检测时间间隔
MAL_CONN_FAIL_INTERVAL = 5 		#判定MAL链路断开的时间
[MAL_INST1]
MAL_INST_NAME = GRP1_RWW_01 	#实例名,和dm.ini中的INSTANCE_NAME一致
MAL_HOST = 192.168.12.12		#MAL系统监听TCP连接的IP地址
MAL_PORT = 5438 				#MAL系统监听TCP连接的端口
MAL_INST_HOST = 192.168.12.12 	#实例的对外服务IP地址
MAL_INST_PORT = 5236			#实例的对外服务端口,和dm.ini中的PORT_NUM一致
MAL_DW_PORT = 5538 			#实例对应的守护进程监听TCP连接的端口
MAL_INST_DW_PORT = 5338 		#实例监听守护进程TCP连接的端口
[MAL_INST2]
MAL_INST_NAME = GRP1_RWW_02
MAL_HOST = 192.168.12.11
MAL_PORT = 5438
MAL_INST_HOST = 192.168.12.11
MAL_INST_PORT = 5236
MAL_DW_PORT = 5538
MAL_INST_DW_PORT = 5338
4.2.3 配置dmarch.ini

即时归档目标实例为GRP1_RWW_01

[ARCHIVE_TIMELY1]
ARCH_TYPE = TIMELY 					#即时归档类型
ARCH_DEST = GRP1_RWW_01 			#即时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL 					#本地归档类型
ARCH_DEST = /dm8/data/DAMENG/arch 	#本地归档文件存放路径
ARCH_FILE_SIZE = 128				#单位Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 2048 			#单位Mb,0表示无限制,范围1024~4294967294M
4.2.4 配置dmwatcher.ini

dmwatcher.ini配置守护进程,配置为全局守护类型,使用自动切换模式。可以直接从主库拷贝。

[GRP1]
DW_TYPE = GLOBAL 					#全局守护类型
DW_MODE = AUTO 						#自动切换模式
DW_ERROR_TIME = 10 					#远程守护进程故障认定时间
INST_RECOVER_TIME = 60 				#主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 				#本地实例故障认定时间
INST_OGUID = 453332 				#守护系统唯一OGUID值
INST_INI = /dm8/data/DAMENG/dm.ini 	#dm.ini配置文件路径
INST_AUTO_RESTART = 1 				#打开实例的自动启动功能
INST_STARTUP_CMD = /dm8/dmdbms/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 			#指定主库发送日志到备库的时间阀值,默认关闭
RLOG_APPLY_THRESHOLD = 0 			#指定备库重演日志的时间阀值,默认关闭
4.2.5 备库数据初始化

备库处于关闭状态,使用rman进行脱机恢复。恢复之前检查dmap是否已启动,需启动dmap。

恢复语句:
./dmrman CTLSTMT="RESTORE DATABASE '/dm8/data/DWTEST/dm.ini' FROM BACKUPSET '/dm8/dmbak/bak01'"
./dmrman CTLSTMT="RECOVER DATABASE '/dm8/data/DWTEST/dm.ini' FROM BACKUPSET '/dm8/dmbak/bak01'"
./dmrman CTLSTMT="RECOVER DATABASE '/dm8/data/DWTEST/dm.ini' UPDATE DB_MAGIC"
------------------------------------------------------------------------------------------
[dmdba@dm8dw02 bin]$ ./dmrman CTLSTMT="RESTORE DATABASE '/dm8/data/DWTEST/dm.ini' FROM BACKUPSET '/dm8/dmbak/bak01'"
dmrman V8
RESTORE DATABASE '/dm8/data/DWTEST/dm.ini' FROM BACKUPSET '/dm8/dmbak/bak01'
file dm.key not found, use default license!
RESTORE DATABASE CHECK......
RESTORE DATABASE,data collect......
RESTORE DATABASE,database refresh ......
RESTORE BACKUPSET [/dm8/dmbak/bak01] START......
total 3 packages processed...
total 4 packages processed...
RESTORE DATABASE,UPDATE ctl file......
RESTORE DATABASE,REBUILD key file......
RESTORE DATABASE,CHECK db info......
RESTORE DATABASE,UPDATE db info......
total 4 packages processed...
total 4 packages processed!
CMD END.CODE:[0]
restore successfully.
time used: 510.720(ms)

[dmdba@dm8dw02 bin]$ ./dmrman CTLSTMT="RECOVER DATABASE '/dm8/data/DWTEST/dm.ini' FROM BACKUPSET '/dm8/dmbak/bak01'"
dmrman V8
RECOVER DATABASE '/dm8/data/DWTEST/dm.ini' FROM BACKUPSET '/dm8/dmbak/bak01'
file dm.key not found, use default license!
Database mode = 0, oguid = 0
EP[0]'s cur_lsn[38679]
RESTORE RLOG CHECK......
CMD END.CODE:[603],DESC:[备份集[/dm8/dmbak/bak01]备份过程中未产生日志]
备份集[/dm8/dmbak/bak01]备份过程中未产生日志
recover successfully!
time used: 248.354(ms)

[dmdba@dm8dw02 bin]$ ./dmrman CTLSTMT="RECOVER DATABASE '/dm8/data/DWTEST/dm.ini' UPDATE DB_MAGIC"
dmrman V8
RECOVER DATABASE '/dm8/data/DWTEST/dm.ini' UPDATE DB_MAGIC
file dm.key not found, use default license!
Database mode = 0, oguid = 0
EP[0]'s cur_lsn[38679]
EP[0]'s apply_lsn[38679] >= end_lsn[38679]
recover successfully!
time used: 990.350(ms)

4.2.6 备库启动到mount状态
./dmserver /dm8/data/DWTEST/dm.ini mount
4.2.7 设置备库OGUID并修改数据库模式
SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
sp_set_oguid(453332);     ---设置所有备库的OGUID与主库相同
alter database standby;   ---修改备库模式
SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);

4.3 启动守护进程

守护进程启动后,进入Startup状态,此时实例都处于Mount状态。守护进程开始广播自身和其监控实例的状态信息,结合自身信息和远程守护进程的广播信息,守护进程将本地实例Open,并切换为Open状态。

4.3.1 启动主库dmwatcher
cd $DM_HOME/bin
./dmwatcher /dm8/data/DAMENG/dmwatcher.ini
4.3.2 启动备库dmwatcher
cd $DM_HOME/bin
./dmwatcher /dm8/data/DAMENG/dmwatcher.ini

4.4 配置监视器

监视器提供一系列命令,支持当前守护系统状态查看以及故障处理,可输入help命令,查看各种命令说明使用,结合实际情况选择使用。

4.4.1 配置dmmonitor.ini

配置确认监视器,其中MON_DW_IP中的IP和PORT和dmmal.ini中的MAL_HOST和MAL_DW_PORT配置项保持一致。

MON_DW_Confirm = 1 			#确认监视器模式,0表示观察监视器
MON_LOG_PATH = /dm8/monitor/log #监视器日志文件存放路径
MON_LOG_INTERVAL = 60 		#每隔60s定时记录系统信息到日志文件
MON_LOG_FILE_SIZE = 32 		#每个日志文件最大32M
MON_LOG_SPACE_LIMIT = 0 	#不限定日志文件总占用空间
[GRP1]
MON_INST_OGUID = 453332 	#组GRP1的唯一OGUID值
#以下配置为监视器到组GRP1的守护进程的连接信息,以“IP:PORT”的形式配置
#IP对应dmmal.ini中的MAL_HOST,PORT对应dmmal.ini中的MAL_DW_PORT
MON_DW_IP = 192.168.12.12:5538
MON_DW_IP = 192.168.12.11:5538
4.4.2 启动监视器

./dmmonitor /dm8/monitor/dmmonitor.ini
在这里插入图片描述

4.5 配置系统服务
root用户:
主库:
/dm8/dmdbms/script/root/dm_service_installer.sh -t dmwatcher –watcher_ini /dm8/data/DAMENG/dmwatcher.ini -p GRP1_RWW_01
备库:
/dm8/dmdbms/script/root/dm_service_installer.sh -t dmwatcher –watcher_ini /dm8/data/DAMENG/dmwatcher.ini -p GRP1_RWW_02

dmdba用户:
/dm8/dmdbms/bin/DmWatcherServiceGRP1_RWW_01 start
/dm8/dmdbms/bin/DmWatcherServiceGRP1_RWW_02 start

至此读写分离集群搭建完毕,在搭建步骤和各项配置都正确的情况下,在监视器上执行show命令,可以监控到所有实例都处于Open状态,所有守护进程也都处于Open状态,即为正常运行状态。

4.6 启动和关闭

关闭:

      先关闭确认监视器,
      然后关闭备库的守护进程,再关闭主库守护进程:
      DmWatcherServiceGRP1_RWW_02 stop
      DmWatcherServiceGRP1_RWW_01 stop
      再关闭主库实例,最后关闭备库实例:
      DmServiceGRP1_RWW_01 stop
      DmServiceGRP1_RWW_02 stop 

启动:
先启动主库守护进程,再启动备库守护进程。
因为dmwatcher.ini中配置了INST_AUTO_RESTART = 1 ,守护进程启动后,会自动拉起数据库实例。

更多资讯请上达梦技术社区了解:https://eco.dameng.com

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值