环境准备
虚拟机版本:VMware WORKSTATION 14PRO
虚机系统版本:Centos7 (2台)
数据库版本:DM V8
安装说明
DM数据守护(Data Watch)是一种集成化的高可靠性解决方案,同时满足用户对数据安全性和高可用性的要求。解决由于硬件故障、自然灾害等原因导致的数据库服务长时间中断问题,满足用户不间断提供数据库服务的要求,即双机热备。
此次安装为读写分离集群,基本原理即为 将主库产生的 Redo日志传输到备库,备库接收并重演Redo日志,从而实现备库与主库的数据同步,类似于Oracle数据库的DG原理。
读写分离集群是基于即时归档或实时归档实现的高性能数据库集群,不但提供数据保护、容灾等数据守护基本功能,还具有读写操作自动分离、负载均衡等特性。读写分离集群最多可以配置 8 个即时备库或 8 个实时备库,提供数据同步、备库故障自动处理、故障恢复自动数据同步等功能,也支持自动故障切换和手动故障切换两种守护模式。
读写分离集群不依赖额外的中间件,而是通过数据库接口与数据库之间的密切配合,实现读、写操作自动分离特性。DM 的 JDBC、DPI、DCI、ODBC、Provider 等接口都可以用来部署读写分离集群。
一.系统环境配置
(1)系统准备
读写分离集群最少需要两个系完成一主一备搭建,此次准备两台虚拟机分别为IP:192.168.3.63(内部:192.168.6.88),IP:192.168.3.64(内部192.168.6.99),两台均已关闭系统防火墙和SELINUX。此次安装的系统均为centos7版本。
主机IP信息:
[root@centos_3_63 ~]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.3.63 netmask 255.255.255.0 broadcast 192.168.3.255
inet6 fe80::a00:27ff:fefe:b4c8 prefixlen 64 scopeid 0x20<link>
ether 08:00:27:fe:b4:c8 txqueuelen 1000 (Ethernet)
RX packets 104 bytes 12478 (12.1 KiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 67 bytes 14822 (14.4 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
ens37: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.6.88 netmask 255.255.255.0 broadcast 192.168.6.255
inet6 fe80::a00:27ff:fe9f:83db prefixlen 64 scopeid 0x20<link>
ether 08:00:27:9f:83:db txqueuelen 1000 (Ethernet)
RX packets 162 bytes 11853 (11.5 KiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 175 bytes 12801 (12.5 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
备机IP信息:
[root@contos_3_64 ~]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.3.64 netmask 255.255.255.0 broadcast 192.168.3.255
inet6 fe80::a00:27ff:fe6c:d788 prefixlen 64 scopeid 0x20<link>
ether 08:00:27:6c:d7:88 txqueuelen 1000 (Ethernet)
RX packets 75 bytes 7435 (7.2 KiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 50 bytes 9546 (9.3 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
ens37: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.6.99 netmask 255.255.255.0 broadcast 192.168.6.255
inet6 fe80::a00:27ff:fe51:9dd0 prefixlen 64 scopeid 0x20<link>
ether 08:00:27:51:9d:d0 txqueuelen 1000 (Ethernet)
RX packets 156 bytes 9360 (9.1 KiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 175 bytes 12801 (12.5 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
(2)数据准备
两台虚拟机环境均已完成前期用户的创建,参数的修改,以及达梦数据库DM V8的安装和初始化,可参考之前的博客VMware虚拟机Centos7安装达梦数据库DM 8实战,安装目录除各自主机名称以外,其他最好保持一致,方便后期进行相关系统的配置。
配置数据守护 V4.0 之前,必须先通过备份还原方式同步各数据库的数据,确保各数据的数据保持完全一致。主库可以是新初始化的数据库,也可以是正在生产、使用中的数据库。不能使用分别初始化库或者直接拷贝数据文件的方法,原因如下:
1. 每个库都有一个永久魔数(permenant_magic),一经生成,永远不会改变,主库传送日志时会判断这个值是否一样,确保是来自同一个数据守护环境中的库,否则传送不了日志。
2. 由于 dminit 初始化数据库时,会生成随机密钥用于加密,每次生成的密钥都不相同,备库无法解析采用主库密钥加密的数据。
3. 每个库都有一个数据库魔数(DB_MAGIC),每经过一次还原、恢复操作,DB_MAGIC就会产生变化,需要通过这种方式来区分同一个数据守护环境中各个不同的库。
如果是初始搭建环境,可以通过对主库脱机备份、对备库脱机还原的方式来准备数据,
如果主库已经处于运行状态,则可以对主库进行联机备份、对备库脱机还原的方式来准备数据。
- 配置归档
两种方式都需要服务器配置本地归档,对两台主机上的数据库进行配置归档,主备机设置大体相同,需注意设置设置归档位置。下面以主机为例进行设置。
配置 dm.ini,打开 ARCH_INI 参数
[dmdba@centos_3_63 DAMENG]$ pwd
/dm/data/DAMENG
[dmdba@centos_3_63 DAMENG]$ vi dm.ini
ARCH_INI = 1 #dmarch.ini
配置 dmarch.ini,位置和dm.ini位置相同,可touch生成该文件进行设置。
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /dm/data/DAMENG/arch #本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 0 #单位 Mb,0 表示无限制,范围 1024~4294967294M
- 数据备份还原
通过备份还原方式同步各数据库的数据,确保各数据的数据保持完全一致。本次采用联机备份,脱机还原的方式进行主备机之间的数据同步。
对主机进行联机备份操作:
SQL> BACKUP DATABASE BACKUPSET '/dm/data/BACKUP_FILE_01';
拷贝文件至备机目录
[dmdba@centos_3_63 ~]$ scp -r BACKUP_FILE_01/ 192.168.3.64:/dm/data/
执行脱机数据库的还原与恢复
[dmdba@contos_3_64 bin]$ ./dmrman CTLSTMT="RESTORE DATABASE '/dm/data/DAMENG/dm.ini' FROM BACKUPSET '/dm/data/BACKUP_FILE_01'"
[dmdba@contos_3_64 bin]$ ./dmrman CTLSTMT="RECOVER DATABASE '/dm/data/DAMENG/dm.ini' FROM BACKUPSET '/dm/data/BACKUP_FILE_01'"
[dmdba@contos_3_64 bin]$ ./dmrman CTLSTMT="RECOVER DATABASE '/dm/data/DAMENG/dm.ini' UPDATE DB_MAGIC"
二.主库环境配置
配置的参数文件所在位置均为数据库文件dm.ini所在目录位置,生成的文件的权限等和dm.ini相同设置即可。
- 配置dm.ini
修改dm.ini参数文件中的参数设置:
INSTANCE_NAME = GRP1_RWW_01
PORT_NUM = 32141 #数据库实例监听端口
DW_INACTIVE_INTERVAL = 60 #接收守护进程消息超时时间
ALTER_MODE_STATUS = 0 #不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2 #不允许备库 OFFLINE 表空间
MAL_INI = 1 #打开 MAL 系统
ARCH_INI = 1 #打开归档配置
RLOG_SEND_APPLY_MON = 64 #统计最近 64 次的日志发送信息
- 配置 dmmal.ini
配置 MAL 系统,各主备库的 dmmal.ini 配置必须完全一致,MAL_HOST 使用内部网络 IP,MAL_PORT 与 dm.ini 中 PORT_NUM 使用不同的端口值,MAL_DW_PORT 是各实例对应的守护进程之间,以及守护进程和监视器之间的通信端口,配置如下:
[dmdba@centos_3_63 DAMENG]$ vi dmmal.ini
MAL_CHECK_INTERVAL = 5 #MAL 链路检测时间间隔
MAL_CONN_FAIL_INTERVAL = 5 #判定 MAL 链路断开的时间
[MAL_INST1]
MAL_INST_NAME = GRP1_RWW_01 #实例名,和 dm.ini 中的 INSTANCE_NAME 一致
MAL_HOST = 192.168.6.88 #MAL 系统监听 TCP 连接的 IP 地址
MAL_PORT = 61141 #MAL 系统监听 TCP 连接的端口
MAL_INST_HOST = 192.168.3.63 #实例的对外服务 IP 地址
MAL_INST_PORT = 32141 #实例的对外服务端口,和 dm.ini 中的 PORT_NUM 一致
MAL_DW_PORT = 52141 #实例对应的守护进程监听 TCP 连接的端口
MAL_INST_DW_PORT = 33141 #实例监听守护进程 TCP 连接的端口
[MAL_INST2]
MAL_INST_NAME = GRP1_RWW_02
MAL_HOST = 192.168.6.99
MAL_PORT = 61142
MAL_INST_HOST = 192.168.3.64
MAL_INST_PORT = 32142
MAL_DW_PORT = 52142
MAL_INST_DW_PORT = 33142
- 配置dmarch.ini
修改 dmarch.ini,配置本地归档和即时归档。
除了本地归档外,其他归档配置项中的 ARCH_DEST 表示实例是 Primary 模式时,需要同步归档数据的目标实例名。
当前实例 GRP1_RWW_01 是主库,需要向即时备库 GRP1_RWW_02同步数据,因此即时归档的 ARCH_DEST 配置为 GRP1_RWW_02。
[dmdba@centos_3_63 DAMENG]$ vi dmarch.ini
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /dm/data/DAMENG/arch #本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 0 #单位 Mb,0 表示无限制,范围 1024~4294967294M
[ARCHIVE_TIMELY1]
ARCH_TYPE = TIMELY #即时归档类型
ARCH_DEST = GRP1_RWW_02 #即时归档目标实例名
- 配置dmwatcher.ini
修改 dmwatcher.ini 配置守护进程,配置为全局守护类型,使用自动切换模式。
[GRP1]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #自动切换模式
DW_ERROR_TIME = 10 #远程守护进程故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 #本地实例故障认定时间
INST_OGUID = 453332 #守护系统唯一 OGUID 值
INST_INI = /dm/data/DAMENG/dm.ini #dm.ini 配置文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /dm/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阀值,默认关闭
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阀值,默认关闭
三.备库环境配置
备库配置文件与主库名称和位置相同,不过要注意名字和路径的修改。
- 配置dm.ini
修改dm.ini参数文件中的参数设置:
INSTANCE_NAME = GRP1_RWW_02
PORT_NUM = 32142 #数据库实例监听端口
DW_INACTIVE_INTERVAL = 60 #接收守护进程消息超时时间
ALTER_MODE_STATUS = 0 #不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2 #不允许备库 OFFLINE 表空间
MAL_INI = 1 #打开 MAL 系统
ARCH_INI = 1 #打开归档配置
RLOG_SEND_APPLY_MON = 64 #统计最近 64 次的日志重演信息
- 配置 dmmal.ini
配置 MAL 系统,各主备库的 dmmal.ini 配置必须完全一致,MAL_HOST 使用内部网络 IP,MAL_PORT 与 dm.ini 中 PORT_NUM 使用不同的端口值,MAL_DW_PORT 是各实例对应的守护进程之间,以及守护进程和监视器之间的通信端口,配置如下:
[dmdba@contos_3_64 DAMENG]$ vi dmmal.ini
MAL_CHECK_INTERVAL = 5
MAL_CONN_FAIL_INTERVAL = 5
[MAL_INST1]
MAL_INST_NAME = GRP1_RWW_01
MAL_HOST = 192.168.6.88
MAL_PORT = 61141
MAL_INST_HOST = 192.168.3.63
MAL_INST_PORT =32141
MAL_DW_PORT = 52141
MAL_INST_DW_PORT = 33141
[MAL_INST2]
MAL_INST_NAME = GRP1_RWW_02
MAL_HOST = 192.168.6.99
MAL_PORT = 61142
MAL_INST_HOST = 192.168.3.132
MAL_INST_PORT = 32142
MAL_DW_PORT = 52142
MAL_INST_DW_PORT = 33142
- 配置dmarch.ini
修改 dmarch.ini,配置本地归档和即时归档。
除了本地归档外,其他归档配置项中的 ARCH_DEST 表示实例是 Primary 模式时,需要同步归档数据的目标实例名。
当前实例 GRP1_RWW_02 是备库,守护系统配置完成后,可能在各种故障处理中,
GRP1_RWW_02 切换为新的主库。
[dmdba@contos_3_64 DAMENG]$ vi dmarch.ini
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL
ARCH_DEST = /dm/data/DAMENG/arch
ARCH_FILE_SIZE = 128
[ARCHIVE_TIMELY1]
ARCH_TYPE = TIMELY
ARCH_DEST = GRP1_RWW_01
- 配置dmwatcher.ini
修改 dmwatcher.ini 配置守护进程,配置为全局守护类型,使用自动切换模式。
[dmdba@contos_3_64 DAMENG]$ cat dmwatcher.ini
[GRP1]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #自动切换模式
DW_ERROR_TIME = 10 #远程守护进程故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 #本地实例故障认定时间
INST_OGUID = 453332 #守护系统唯一 OGUID 值
INST_INI = /dm/data/DAMENG/dm.ini #dm.ini 配置文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /home/dmdba/dmdbms/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阀值,默认关闭
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阀值,默认关闭
四.数据库配置
(1)主库设置
- mount启动数据库
以 Mount 方式启动主库,一定要以 Mount 方式启动数据库实例,否则系统启动时会重构回滚表空间,生成 Redo 日志。并且,启动后应用可能连接到数据库实例进行操作,破坏主备库的数据一致性。数据守护配置结束后,守护进程会自动 Open 数据库。
[dmdba@contos_3_64 ~]$ cd dmdbms/bin
[dmdba@contos_3_64 bin]$ ./dmserver /dm/data/DAMENG/dm.ini mount
- 修改OGUID
命令行工具disql登录数据库,修改OGUID,系统通过 OGUID 值确定一个守护进程组,由用户保证 OGUID 值的唯一性,并确保数据守护系统中,数据库、守护进程和监视器配置相同的 OGUID 值。
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
SQL>sp_set_oguid(453332);
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
- 修改数据库模式
启动命令行工具 DIsql,登录主库修改数据库为 Primary 模式
SQL>alter database primary;
(2)备库设置
- mount启动数据库
以 Mount 方式启动主库,一定要以 Mount 方式启动数据库实例,否则系统启动时会重构回滚表空间,生成 Redo 日志。并且,启动后应用可能连接到数据库实例进行操作,破坏主备库的数据一致性。数据守护配置结束后,守护进程会自动 Open 数据库。
[dmdba@contos_3_64 ~]$ cd dmdbms/bin
[dmdba@contos_3_64 bin]$ ./dmserver /dm/data/DAMENG/dm.ini mount
- 修改OGUID
命令行工具disql登录数据库,修改OGUID,系统通过 OGUID 值确定一个守护进程组,由用户保证 OGUID 值的唯一性,并确保数据守护系统中,数据库、守护进程和监视器配置相同的 OGUID 值。
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
SQL>sp_set_oguid(453332);
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
- 修改数据库模式
启动命令行工具 DIsql,登录备库修改数据库为 Standby 模式。
如果当前数据库不是 Normal 模式,需要先修改 dm.ini 中 ALTER_MODE_STATUS 值 为 1,允许修改数据库模式,修改 Standby 模式成功后再改回为 0。如果是 Normal 模式,请忽略下面的第 1 步和第 3 步。
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1); ----第 1 步
SQL>alter database standby; ----第 2 步
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0); ----第 3 步
五.监视器配置
由于主库和即时备库的守护进程配置为自动切换模式,因此这里选择配置确认监视器。和普通监视器相比,确认监视器除了相同的命令支持外,在主库发生故障时,能够自动通知即时备库接管为新的主库,具有自动故障处理的功能。
修改 dmmonitor.ini 配置确认监视器,其中 MON_DW_IP 中的 IP 和 PORT 和dmmal.ini 中的 MAL_HOST 和 MAL_DW_PORT 配置项保持一致。
[dmdba@contos_3_64 DAMENG]$ vi dmmonitir.ini
MON_DW_Confirm = 1 #确认监视器模式
MON_LOG_PATH = /dm/data/log #监视器日志文件存放路径
MON_LOG_INTERVAL = 60 #每隔 60s 定时记录系统信息到日志文件
MON_LOG_FILE_SIZE = 32 #每个日志文件最大 32M
MON_LOG_SPACE_LIMIT = 0 #不限定日志文件总占用空间
[GRP1]
MON_INST_OGUID = 453332 #组 GRP1 的唯一 OGUID 值 #以下配置为监视器到组 GRP1 的守护进程的连接信息,以―IP:PORT‖的形式配置
#IP 对应 dmmal.ini 中的 MAL_HOST,PORT 对应 dmmal.ini 中的 MAL_DW_PORT
MON_DW_IP = 192.168.3.63:52141
MON_DW_IP = 192.168.0.64:52142
六.启动验证
- 启动守护进程
主备库的守护进程均启动,守护进程启动后,进入 Startup 状态,此时实例都处于 Mount 状态。守护进程开始广播自身和其监控实例的状态信息,结合自身信息和远程守护进程的广播信息,守护进程将
本地实例 Open,并切换为 Open 状态。
[dmdba@centos_3_63 bin]$ ./dmwatcher /dm/data/DAMENG/dmwatcher.ini
[dmdba@contos_3_64 bin]$ ./dmwatcher /dm/data/DAMENG/dmwatcher.ini
- 启动监视器
监视器提供一系列命令,支持当前守护系统状态查看以及故障处理,可输入 help 命令,查看各种命令说明使用,结合实际情况选择使用。
[dmdba@centos_3_63 bin]$ ./dmmonitor /dm/data/DAMENG/dmmonitor.ini
- 验证
通过监视器查看读写分离状态。
show
2020-09-01 21:50:41
#================================================================================#
GROUP OGUID MON_CONFIRM MODE MPP_FLAG
GRP1 453332 TRUE AUTO FALSE
<<DATABASE GLOBAL INFO:>>
IP MAL_DW_PORT WTIME WTYPE WCTLSTAT WSTATUS INAME INST_OK N_EP N_OK ISTATUS IMODE DSC_STATUS RTYPE RSTAT
192.168.6.88 52141 2020-09-01 21:50:41 GLOBAL VALID OPEN GRP1_RWW_01 OK 1 1 OPEN PRIMARY DSC_OPEN TIMELY VALID
EP INFO:
INST_PORT INST_OK INAME ISTATUS IMODE DSC_SEQNO DSC_CTL_NODE RTYPE RSTAT FSEQ FLSN CSEQ CLSN DW_STAT_FLAG
32141 OK GRP1_RWW_01 OPEN PRIMARY 0 0 TIMELY VALID 3954 39422 3954 39422 NONE
<<DATABASE GLOBAL INFO:>>
IP MAL_DW_PORT WTIME WTYPE WCTLSTAT WSTATUS INAME INST_OK N_EP N_OK ISTATUS IMODE DSC_STATUS RTYPE RSTAT
192.168.6.99 52142 2020-09-01 21:50:40 GLOBAL VALID OPEN GRP1_RWW_02 OK 1 1 OPEN STANDBY DSC_OPEN TIMELY VALID
EP INFO:
INST_PORT INST_OK INAME ISTATUS IMODE DSC_SEQNO DSC_CTL_NODE RTYPE RSTAT FSEQ FLSN CSEQ CLSN DW_STAT_FLAG
32142 OK GRP1_RWW_02 OPEN STANDBY 0 0 TIMELY VALID 3941 39422 3941 39422 NONE
DATABASE(GRP1_RWW_02) APPLY INFO FROM (GRP1_RWW_01):
DSC_SEQNO[0], (ASEQ, SSEQ, KSEQ)[3954, 3954, 3954], (ALSN, SLSN, KLSN)[39422, 39422, 39422], N_TSK[0], TSK_MEM_USE[0]
#================================================================================#
至此读写分离集群搭建完毕,在搭建步骤和各项配置都正确的情况下,在监视器上执行show 命令,可以监控到所有实例都处于 Open 状态,所有守护进程也都处于 Open 状态,即为正常运行状态。