前言:
实时主备系统由主库、实时备库、守护进程和监视器组成。通过部署实时主备系统,可以及时检测并处理各种硬件故障、数据库实例异常,确保持续提供数据库服务。
在搭建数据守护系统前,应注意数据守护系统中各实例使用的 DM 服务器版本应一致,同时还应注意各实例所在主机的操作系统位数、大小端模式、时区及时间设置都应一致,以免系统在运行时出现意想不到的错误。
一、达梦实时主备集群主要组件介绍
1.1、守护进程
守护进程(dmwatcher)是 DM 数据守护系统不可或缺的核心部件,是数据库实例和监视器之间信息流转的桥梁。数据库实例向本地守护进程发送信息,接收本地守护进程的消息和命令;监视器(dmmonitor)接收守护进程的消息,并向守护进程发送命令;数据库实例与监视器之间没有直接的消息交互;守护进程解析并执行监视器发起的各种命令(Switchover/Takeover/Open force 等),并在必要时通知数据库实例执行相应的操作
1.2、监视器
监视器(dmmonitor)是基于监视器接口实现的一个命令行工具,是 DM 数据守护系统的重要组成部分。
通过监视器,可以监控数据守护系统的运行情况,获取主备库状态、守护进程状态、以及主备库数据同步情况等信息。同时,监视器(dmmonitor)还提供了一系列命令来管理数据守护系统。
1.3、MAL 系统
MAL 系统是基于 TCP 协议实现的一种内部通信机制,具有可靠、灵活、高效的特性。DM 通过 MAL 系统实现 Redo 日志传输,以及其他一些实例间的消息通讯。
一、环境准备(两台)
1、阿里云ECS服务器镜像版本:CentOS 7.6
CPU:2C
内存:8G
硬盘:70G
2、主备规划
在这里说一下,实时主备集群最好有三台服务器,其中一台部署主库,一台部署备库,一台部署监视器(dmmonitor),我们这是实验就把监视器(dmmonitor)放到主库这台服务器上
ip地址 | 部署服务 |
172.29.176.1 | 主数据库、监视器(dmmonitor) |
172.29.191.246 | 备数据库 |
二、使用xshell连接两台阿里云服务器
在两台服务器上安装dmdbms数据库,都要完成初始化,并测试是否可连接
三、主库备份还原备库
1.1、主库脱机备份并在备库还原(停数据库执行)dmdba用户执行,传输到备库的时候记得授权
#主库执行
./dmrman CTLSTMT="BACKUP DATABASE '/dbdata/dmdata/DAMENG/dm.ini' FULL TO BACKUP_FILE1 BACKUPSET '/dbdata/dmdata/DAMENG/bak'"
#把/dbbak/dmbak/full_bak 这个目录scp到备库服务器上
#备库执行
./dmrman CTLSTMT="RESTORE DATABASE '/dbdata/dmdata/DAMENG/dm.ini' FROM BACKUPSET '/dbdata/dmdata/DAMENG/bak'"
./dmrman CTLSTMT="RECOVER DATABASE '/dbdata/dmdata/DAMENG/dm.ini' FROM BACKUPSET '/dbdata/dmdata/DAMENG/bak'"
#下面这个语句是dm8数据库需要执行的dm7不需要执行
./dmrman CTLSTMT="RECOVER DATABASE '/dbdata/dmdata/DAMENG/dm.ini' UPDATE DB_MAGIC"
检查数据一致性
#依次到每个实例上,切换到执行码目录bin目录,以 mount 方式启动数据库。
[dmdba@iZ0jlj1j0h7r554ogo9pyjZ ~]$ cd /home/dmdba/dm/dmdbms/bin
[dmdba@iZ0jlj1j0h7r554ogo9pyjZ bin]$ ./dmserver /dbdata/dmdata/DAMENG/dm.ini mount
#启动完成后开启一个新的终端,启动命令行工具 DIsql,分别登录各个实例查询 LSN 值,如果主库和备库的 FILE_LSN和 CUR_LSN 值相同,可以确保数据完全一致。检查实例的永久魔数是否一致
select file_LSN, cur_LSN from v$rlog; #检查FILE_LSN和 CUR_LSN 值
select permanent_magic; #检查永久魔数
四、主库修改配置文件
vim /dbdata/dmdata/DAMENG/dm.ini
INSTANCE_NAME = GRP1_RT_01
PORT_NUM = 32141 #数据库实例监听端口
DW_PORT = 33141 #守护环境下,监听守护进程连接端口
DW_ERROR_TIME = 60 #接收守护进程消息超时时间
ALTER_MODE_STATUS = 0 #不允许手工方式修改实例模式/状态
ENABLE_OFFLINE_TS = 2 #不允许备库 OFFLINE 表空间
MAL_INI = 1 #打开 MAL 系统
ARCH_INI = 1 #打开归档配置
HA_INST_CHECK_FLAG = 1 #检测是否多个实例进程同时启动
RLOG_SEND_APPLY_MON = 64 #统计最近 64 次的日志发送信息
##DW_PORT = 33141 #守护环境下,监听守护进程连接端口 dm7需要修改,dm8不需要
vim /dbdata/dmdata/DAMENG/dmmal.ini
MAL_CHECK_INTERVAL = 5 #MAL 链路检测时间间隔
MAL_CONN_FAIL_INTERVAL = 5 #判定 MAL 链路断开的时间
[MAL_INST1]
MAL_INST_NAME = GRP1_RT_01 #实例名,和 dm.ini 中的 INSTANCE_NAME 一致
MAL_HOST = 172.29.176.1 #MAL 系统监听 TCP 连接的 IP 地址
MAL_PORT = 61141 #MAL 系统监听 TCP 连接的端口
MAL_INST_HOST = 172.29.176.1 #实例的对外服务 IP 地址
MAL_INST_PORT = 5236 #实例的对外服务端口,和 dm.ini 中的 PORT_NUM 一致
MAL_DW_PORT = 52141 #实例对应的守护进程监听 TCP 连接的端口
[MAL_INST2]
MAL_INST_NAME = GRP1_RT_02
MAL_HOST = 172.29.191.246
MAL_PORT = 61142
MAL_INST_HOST = 172.29.191.246
MAL_INST_PORT = 5236
MAL_DW_PORT = 52142
vim /dbdata/dmdata/DAMENG/dmarch.ini
[ARCHIVE_REALTIME]
ARCH_TYPE = REALTIME #实时归档类型
ARCH_DEST = GRP1_RT_02 #实时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /dbdata/dmdata/DAMENG/arch #本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 0 #单位 Mb,0 表示无限制,范围 1024~4294967294M
vim /dbdata/dmdata/DAMENG/dmwatcher.ini
[GRP1]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #自动切换模式
DW_ERROR_TIME = 10 #远程守护进程故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 #本地实例故障认定时间
INST_OGUID = 453331 #守护系统唯一 OGUID 值
INST_INI = /dbdata/dmdata/DAMENG/dm.ini #dm.ini 配置文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /home/dmdba/dm/dmdbms/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阀值,默认关闭
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阀值,默认关闭
以 Mount 方式启动主库
./dmserver /dbdata/dmdata/DAMENG/dm.ini mount
登录数据库执行
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
SQL>sp_set_oguid(453331);
SQL>alter database primary;
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
五、备库修改配置文件
vim /dbdata/dmdata/DAMENG/dm.ini
INSTANCE_NAME = GRP1_RT_02
PORT_NUM = 32142 #数据库实例监听端口
DW_PORT = 33142 #守护环境下,监听守护进程连接端口
DW_ERROR_TIME = 60 #接收守护进程消息超时时间
ALTER_MODE_STATUS = 0 #不允许手工方式修改实例模式/状态
ENABLE_OFFLINE_TS = 2 #不允许备库 OFFLINE 表空间
MAL_INI = 1 #打开 MAL 系统
ARCH_INI = 1 #打开归档配置
HA_INST_CHECK_FLAG = 1 #检测是否多个实例进程同时启动
RLOG_SEND_APPLY_MON = 64 #统计最近 64 次的日志重演信息
###DW_PORT = 33141 #守护环境下,监听守护进程连接端口 dm7需要修改,dm8不需要
vim /dbdata/dmdata/DAMENG/dmmal.ini
MAL_CHECK_INTERVAL = 5 #MAL 链路检测时间间隔
MAL_CONN_FAIL_INTERVAL = 5 #判定 MAL 链路断开的时间
[MAL_INST1]
MAL_INST_NAME = GRP1_RT_01 #实例名,和 dm.ini 中的 INSTANCE_NAME 一致
MAL_HOST = 172.29.176.1 #MAL 系统监听 TCP 连接的 IP 地址
MAL_PORT = 61141 #MAL 系统监听 TCP 连接的端口
MAL_INST_HOST = 172.29.176.1 #实例的对外服务 IP 地址
MAL_INST_PORT = 5236 #实例的对外服务端口,和 dm.ini 中的 PORT_NUM 一致
MAL_DW_PORT = 52141 #实例对应的守护进程监听 TCP 连接的端口
[MAL_INST2]
MAL_INST_NAME = GRP1_RT_02
MAL_HOST = 172.29.191.246
MAL_PORT = 61142
MAL_INST_HOST = 172.29.191.246
MAL_INST_PORT = 5236
MAL_DW_PORT = 52142
vim /dbdata/dmdata/DAMENG/dmarch.ini
[ARCHIVE_REALTIME]
ARCH_TYPE = REALTIME #实时归档类型
ARCH_DEST = GRP1_RT_01 #实时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /dbdata/dmdata/DAMENG/arch #本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 0 #单位 Mb,0 表示无限制,范围 1024~4294967294M
vim /dbdata/dmdata/DAMENG/dmwatcher.ini
[GRP1]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #自动切换模式
DW_ERROR_TIME = 10 #远程守护进程故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 #本地实例故障认定时间
INST_OGUID = 453331 #守护系统唯一 OGUID 值
INST_INI = /dbdata/dmdata/DAMENG/dm.ini #dm.ini 配置文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /home/dmdba/dm/dmdbms/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阀值,默认关闭
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阀值,默认关闭
以 Mount 方式启动备库
./dmserver /dbdata/dmdata/DAMENG/dm.ini mount
登录数据库执行
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
SQL>sp_set_oguid(453331);
SQL>alter database standby;
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
同一个守护进程组,必须使用同一份 dmwatcher.ctl。因此,只需要使用 dmctlcvt工具生成一份 dmwatcher.ctl 文件,然后分别拷贝到各个数据库目录下即可。
在配置完成 dmwatcher.ini 后,使用 dmctlcvt 工具生成 dmwatcher.ctl:注:dm8不需要此步骤
./dmctlcvt TYPE=3 SRC=/dbdata/dmdata/DAMENG/dmwatcher.ini DEST=/dbdata/dmdata/
拷贝生成的 dmwatcher.ctl 文件到数据文件目录/dbdata/dmdata/DAMENG。
停止以mount模式启动的主库和备库。启动守护进程,测试是否可以启动数据库
[dmdba@iZ0jlj1j0h7r554ogo9pyjZ bin]$ cd /home/dmdba/dm/dmdbms/bin
[dmdba@iZ0jlj1j0h7r554ogo9pyjZ bin]$ cp service_template/DmWatcherService dmwatcherserverd
[dmdba@iZ0jlj1j0h7r554ogo9pyjZ bin]$ vim dmwatcherserverd
#修改INI_PATH=%INI_PATH% 修改为 INI_PATH="/dbdata/dmdata/DAMENG/dmwatcher.ini" 主备两台都需要修改
六、主库编辑监视器配置文件并启动
编辑器配置文件 vim /dbdata/dmdata/DAMENG/dmmonitor.ini
MON_DW_CONFIRM = 1 #确认监视器模式
MON_LOG_PATH = home/dmdba/dm/dmdbms/log #监视器日志文件存放路径
MON_LOG_INTERVAL = 60 #每隔 60s 定时记录系统信息到日志文件
MON_LOG_FILE_SIZE = 32 #每个日志文件最大 32M
MON_LOG_SPACE_LIMIT = 0 #不限定日志文件总占用空间
[GRP1]
MON_INST_OGUID = 453331 #组 GRP1 的唯一 OGUID 值
DM 数据守护与读写分离集群 V2.1
143
#以下配置为监视器到组 GRP1 的守护进程的连接信息,以—IP:PORT?的形式配置
#IP 对应 dmmal.ini 中的 MAL_HOST,PORT 对应 dmmal.ini 中的 MAL_DW_PORT
MON_DW_IP = 172.29.191.246:52142
MON_DW_IP = 172.29.176.1:52141
启动监控器测试
./dmmonitor /dbdata/dmdata/DAMENG/dmmonitor.ini
#备注:达梦7和达梦8 搭建实时守护集群的时候有些参数不一样,不要照搬哈
达梦社区地址:https://eco.dameng.com