DM数据库数据守护之读写分离

已于 2022-07-29 15:02:08 修改
阅读量329 收藏
点赞数
文章标签： 数据库 dba 服务器
于 2022-07-27 10:21:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45950251/article/details/125993845
版权

简要介绍

        DM读写分离集群是基于即时归档或实时归档实现的高性能数据库集群，不但提供数据保护、容灾等数据守护基本功能，还具有读写操作自动分离、负载均衡等特性。读写分离集群最多可以配置 8 个即时备库或 8 个实时备库，提供数据同步、备库故障自动处理、故障恢复自动数据同步等功能，也支持自动故障切换和手动故障切换两种守护模式。借助读写分离集群，可以将只读操作自动分发到备库执行，可以充分利用备库的硬件资源，降低主库的并发访问压力，进而提升数据库的吞吐量。有关读写分离及数据守护更多内容会在之后的文章中讨论，本篇主要介绍其搭建。

环境配置

        首先准备三台虚拟机vm1、vm2、vm3，vm1和vm2分别用来部署主备库，vm3用来部署确认监视器。其中，vm1、vm2需要配置两块网卡，一块接入 内部网络交换模块，一块接入到外部交换机，vm3接入内部网络。三台机器均安装DM8数据，配置数据库实例并注册服务，安装目录在根目录下/dm8中。设三台机器的网络信息如下：

        vm1：192.168.127.130/192.168.127.140
        vm2：192.168.127.131/192.168.127.141
        vm3：192.168.127.132

数据准备

        配置读写分离之前，必须先通过备份还原方式同步各数据库的数据，确保各数据的数据保持完全一致。主库可以是新初始化的数据库，也可以是正在生产、使用中的数据库。 备库在备份还原前，需要先准备初始化一个新库。

        不能使用分别初始化库或者直接拷贝数据文件的方法来直接配置数据库守护，原因如下：
        1． 每个库都有一个永久魔数（permanent_magic），一经生成，永远不会改变，主库传送日志时会判断这个值是否一样，确保是来自同一个数据守护环境中的库，否则传送不了日志。
        2． 由于 dminit 初始化数据库时，会生成随机密钥用于加密，每次生成的密钥都不 相同，备库无法解析采用主库密钥加密的数据。
        3.每个库都有一个数据库魔数（DB_MAGIC），每经过一次还原、恢复操作，DB_MAGIC 就会产生变化，需要通过这种方式来区分同一个数据守护环境中各个不同的库。

        进行数据准备工作有两种方式：1)脱机备份、脱机还原 2）联机备份、联机还原。后者可以在主库在运行状态下进行。

        两种方式都需要服务器配置本地归档，本地归档配置方式如下：

        1、配置dm.ini:

ARCH_INI = 1 #打开归档配置，只有在ARCH_INI = 1 时，下文的dmarch.ini才会生效

         2、配置dmarch.ini:

ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /dm/data/DAMENG/arch #本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb，本地单个归档文件最大值
ARCH_SPACE_LIMIT = 0 #单位 Mb，0 表示无限制，范围 1024~2147483647M

        这里只介绍脱机备份、脱机还原方式：

  1. 正常关闭数据库
  2. 进行脱机备份： 
    ./dmrman CTLSTMT="BACKUP DATABASE '/dm8/data/DMDB1/dm.ini' FULL TO BACKUP_FILE1 BACKUPSET '/dm/data/BACKUP_FILE_01'"
  3. 拷贝备份文件到备库所在机器
  4. 执行脱机数据库还原与恢复
    数据库还原： 
    ./dmrman CTLSTMT="RESTORE DATABASE '/dm8/data/DMDB1/dm.ini' FROM BACKUPSET'/dm/data/BACKUP_FILE_01'"
 CTLSTMT="RECOVER DATABASE '/dm8/data/DMDB1/dm.ini' UPDATE DB_MAGIC"

配置主库

配置dm.ini

        进入/dm8/data/DMDB1目录下，使用vim dm.ini修改配置：

INSTANCE_NAME = GRP1_RWW_01 #实例名，建议使用―组名_守护环境_序号‖的命名方式，总长度不能超过 16
PORT_NUM = 32141 #数据库实例监听端口
DW_INACTIVE_INTERVAL = 60 #接收守护进程消息超时时间
ALTER_MODE_STATUS = 0 #不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2 #不允许备库 OFFLINE 表空间
MAL_INI = 1 #打开 MAL 系统
ARCH_INI = 1 #打开归档配置
RLOG_SEND_APPLY_MON = 64 #统计最近 64 次的日志发送信息

配置dmmal.ini

        配置 MAL 系统，各主备库的 dmmal.ini 配置必须完全一致，MAL_HOST 使用内部网 络 IP，MAL_PORT 与 dm.ini 中 PORT_NUM 使用不同的端口值，MAL_DW_PORT 是各实例 对应的守护进程之间，以及守护进程和监视器之间的通信端口，配置如下

MAL_CHECK_INTERVAL = 5 #MAL 链路检测时间间隔
MAL_CONN_FAIL_INTERVAL = 5 #判定 MAL 链路断开的时间
[MAL_INST1]
MAL_INST_NAME = GRP1_RWW_01 #实例名，和 dm.ini 中的 INSTANCE_NAME 一致
MAL_HOST = 192.168.127.140 #MAL 系统监听 TCP 连接的 IP 地址
MAL_PORT = 61141 #MAL 系统监听 TCP 连接的端口
MAL_INST_HOST = 192.168.127.130 #实例的对外服务 IP 地址
MAL_INST_PORT = 32141 #实例的对外服务端口，和 dm.ini 中的 PORT_NUM 一致
MAL_DW_PORT = 52141 #实例对应的守护进程监听 TCP 连接的端口
MAL_INST_DW_PORT = 33141 #实例监听守护进程 TCP 连接的端口
[MAL_INST2]
MAL_INST_NAME = GRP1_RWW_02
MAL_HOST = 192.168.127.141
MAL_PORT = 61142
MAL_INST_HOST = 192.168.127.131
MAL_INST_PORT = 32142
MAL_DW_PORT = 52142
MAL_INST_DW_PORT = 33142

配置dmarch.ini

        修改 dmarch.ini，首次需要手动创建，配置本地归档和即时归档。 配置如下：

[ARCHIVE_TIMELY1] 
ARCH_TYPE = TIMELY #即时归档类型
ARCH_DEST = GRP1_RWW_02 #即时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /dm8/data/DMDB1/arch #本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb，本地单个归档文件最大值
ARCH_SPACE_LIMIT = 0 #单位 Mb，0 表示无限制，范围 1024~2147483647M

配置 dmwatcher.ini

        同dmarch.ini ，首次需手动创建。修改 dmwatcher.ini 配置守护进程，配置为全局守护类型，使用自动切换模式。

[GRP1]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #自动切换模式
DW_ERROR_TIME = 10 #远程守护进程故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 #本地实例故障认定时间
INST_OGUID = 453332 #守护系统唯一 OGUID 值
INST_INI = /dm8/data/DMDB1/dm.ini #dm.ini 配置文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /dm/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值，默认关闭
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值，默认关闭

启动主库

        以mount方式启动主库：

./dmserver /dm8/data/DMDB1/dm.ini mount

设置 OGUID

        启动命令行工具 DIsql，登录主库设置 OGUID 值。

SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
SQL>sp_set_oguid(453332);
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);

修改数据库模式

SQL>alter database primary;

配置备库

配置dm.ini

#实例名，建议使用―组名_守护环境_序号‖的命名方式，总长度不能超过 16
INSTANCE_NAME = GRP1_RT_02
PORT_NUM = 32142 #数据库实例监听端口
DW_INACTIVE_INTERVAL = 60 #接收守护进程消息超时时间
ALTER_MODE_STATUS = 0 #不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2 #不允许备库 OFFLINE 表空间
MAL_INI = 1 #打开 MAL 系统
ARCH_INI = 1 #打开归档配置
RLOG_SEND_APPLY_MON = 64 #统计最近 64 次的日志重演信息

配置 dmmal.ini

MAL_CHECK_INTERVAL = 5 #MAL 链路检测时间间隔
MAL_CONN_FAIL_INTERVAL = 5 #判定 MAL 链路断开的时间
[MAL_INST1]
MAL_INST_NAME = GRP1_RT_01 #实例名，和 dm.ini 中的 INSTANCE_NAME 一致
MAL_HOST = 192.168.127.140 #MAL 系统监听 TCP 连接的 IP 地址
MAL_PORT = 61141 #MAL 系统监听 TCP 连接的端口
MAL_INST_HOST = 192.168.127.130 #实例的对外服务 IP 地址
MAL_INST_PORT = 32141 #实例的对外服务端口，和 dm.ini 中的 PORT_NUM 一致
MAL_DW_PORT = 52141 #实例对应的守护进程监听 TCP 连接的端口
MAL_INST_DW_PORT = 33141 #实例监听守护进程 TCP 连接的端口
[MAL_INST2]
MAL_INST_NAME = GRP1_RT_02
MAL_HOST = 192.168.127.141
MAL_PORT = 61142
MAL_INST_HOST = 192.168.127.131
MAL_INST_PORT = 32142
 MAL_DW_PORT = 52142
MAL_INST_DW_PORT = 33142

配置dmarch.ini  

[ARCHIVE_TIMELY1] 
ARCH_TYPE = TIMELY #即时归档类型
ARCH_DEST = GRP1_RWW_01 #即时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /dm8/data/DMDB1/arch #本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb，本地单个归档文件最大值
ARCH_SPACE_LIMIT = 0 #单位 Mb，0 表示无限制，范围 1024~2147483647M

配置 dmwatcher.ini

[GRP1]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #自动切换模式
DW_ERROR_TIME = 10 #远程守护进程故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 #本地实例故障认定时间
INST_OGUID = 453332 #守护系统唯一 OGUID 值
INST_INI = /dm8/data/DMDB1/dm.ini #dm.ini 配置文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /dm/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值，默认关闭
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值，默认关闭

启动备库、设置OGUID、修改数据库模式

        启动备库、设置OGUID、修改数据库模式与主库类似，但数据库模式不同。

./dmserver /dm8/data/DMDB1/dm.ini mount

SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
SQL>sp_set_oguid(453332);
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
#如果是Normal 模式，忽略语句1、3。
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
SQL>alter database standby; 
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);

 配置监视器

        修改 dmmonitor.ini 配置确认监视器，其中 MON_DW_IP 中的 IP 和 PORT 和 dmmal.ini 中的 MAL_HOST 和 MAL_DW_PORT 配置项保持一致。

MON_DW_CONFIRM = 1 #确认监视器模式
MON_LOG_PATH = /dm8/data/log #监视器日志文件存放路径
MON_LOG_INTERVAL = 60 #每隔 60s 定时记录系统信息到日志文件
MON_LOG_FILE_SIZE = 32 #每个日志文件最大 32M
MON_LOG_SPACE_LIMIT = 0 #不限定日志文件总占用空间
[GRP1]
MON_INST_OGUID = 453332 #组 GRP1 的唯一 OGUID 值
#以下配置为监视器到组 GRP1 的守护进程的连接信息，以―IP:PORT‖的形式配置
#IP 对应 dmmal.ini 中的 MAL_HOST，PORT 对应 dmmal.ini 中的 MAL_DW_PORT
MON_DW_IP = 192.168.127.140:52141
MON_DW_IP = 192.168.127.141:52142

启动守护进程

        启动主备库上的守护进程：

./dmwatcher /dm8/data/DMDB1/dmwatcher.ini

启动监视器

./dmmonitor /dm8/data/dmmonitor.ini

        监视器提供一系列命令，支持当前守护系统状态查看以及故障处理，可输入 help 命令， 查看各种命令使用说明，结合实际情况选择使用。

关闭守护进程

        关闭守护系统时，必须按照一定的顺序来关闭守护进程和数据库实例。特别是自动切换 模式，如果退出守护进程或主备库的顺序不正确，可能会引起主备切换，甚至造成守护进程组分裂。

        如果选择手动关闭守护进程，需要严格按照顺序：
        如果启动了确认监视器，先关闭确认监视器（防止自动接管）
        关闭备库守护进程（防止重启实例）
        关闭主库守护进程（防止重启实例）
        Shutdown 主库
        Shutdown 备库

关于更多DM数据库信息请咨询DM社区文档： https://eco.dameng.com

Draugered
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DM数据库读写分离部署过程
zzzzz887的博客
11-29 262
一.部署环境 系统版本 Centos7.9 CPU型号 Intel(R) Core(TM) i5-7200U CPU @ 2.50GHz（2核） 磁盘空间 40G 内存大小 2G 二、创建用户和组 DM 数据库不应该使用 root 用户安装和维护。需要在安装之前为 DM 数据库创建一个专用的系统用户 (dmdba) 和用户组 (din
DM_SQL索引相关
weixin_45950251的博客
08-22 973
索引，是建立在数据库中的用于快速查询，快速定位与检索数据的数据结构。索引表是一组数据的集合，它将数据按照一定规则组织起来，形成一个可操作的整体，是对大量数据进行有效组织和管理的手段之一。
DM数据守护之读写分离
qq_43596835的博客
08-31 284
DM数据守护读写分离集群其实是主备集群的升级版本，在双机热备的基础上把用户写和读的会话事务分别放在主库和备库上执行。写事务会被分发到主库上执行，读事 务则分发到备库上执行。由接口负责读写事务的分发。读写分离集群是基于即时 归档实现的高性能数据库集群，不但提供数据保护、容灾等数据守护基本功能， 还具有读写操作自动分离、负载均衡等特性。......
达梦数据库DMWatcher主备搭建
BShu666的博客
05-17 544
达梦数据库主备搭建
dm8 datawatch配置
spiritswh的博客
10-11 301
dm8 datawatch配置
DM主备集群、新增删除节点、读写分离搭建
qq_39693441的博客
12-25 2445
达梦守护集群新增、删除节点，读写分离搭建
DM8数据守护与读写分离集群V4.0
最新发布
05-07
DM8数据守护与读写分离集群V4.0
达梦数据库DM8数据守护与读写分离集群指南.pdf
10-19
《达梦数据库DM8数据守护与读写分离集群指南》是一份详细的技术文档，主要针对DM8数据库的数据安全和高可用性提供解决方案。该指南涵盖了数据守护的系统特性、基本概念、关键功能以及如何构建和操作数据守护环境的...
达梦数据库DM8数据守护与读写分离集群指南.docx
10-19
达梦数据库DM8数据守护与读写分离集群指南.docx
DM7数据守护与读写分离集群
08-30
DM7数据守护与读写分离集群
DM配置实时主备和异步主备
weixin_44219201的博客
09-01 957
实时主备搭建和异步备库搭建
2021-11-09
qq_38083601的博客
11-09 270
DM 实时主备搭建原理 DM 实时主备搭建原理： 1.DM 数据守护（Data Watch）的实现原理 将主库（生产库）产生的 Redo 日志传输到备库，备库接收并重新应用 Redo 日志，从而实现备库与主库的数据同步。DM 数据守护的核心思想是监控数据库状态，获取主、备库数据同步情况，为 Redo 日志传输与重演过程中出现的各种异常情况提供一系列的解决方案 1.1 DM 数据守护系统结构 主要由主库、备库、Redo 日志、Redo 日志传输、Redo 日志重演、守护进程 （dmwatcher）、监视
DM数据库数据守护集群搭建
qq_44112838的博客
08-26 829
DM8守护集群搭建详细步骤
（4）达梦数据守护集群DMDataWatch的实时主备环境部署实践
idmon的博客
06-07 882
为了帮助大家更加直观地理解DM数据守护方案，本篇技术分享文章是基于Linux下达梦数据守护集群的实时主备配置过程，配置方案为常见的一个主库和一个实时备库。
DM读写分离搭建过程
qq_46377370的博客
09-21 291
1.环境说明： 本文档以192.168.1.101/192.168.1.102/192.168.1.103主备集群为例，只需将标红字体替换即可。 应用 ip prot GRP1_RWW_01集群 GRP1_RWW__01主库 192.168.1.101 32141 PORT_NUM实例的对外..
DM 主备集群配置
weixin_54923826的博客
03-16 191
主备集群配置
DM读写分离集群环境搭建
weixin_48588449的博客
08-26 362
搭建思路： 1.虚拟机：三台，分别安装数据库，添加网络适配器； 2.集群环境：一主两备；三台分别初始化实例，正常启动关闭数据库，主库做备份，还原恢复给两个备库； 3.三台分别配置数据库文件，分别以mount方式启动数据库，修改oguid，数据库模式； 4.配置监视器，分别依次启动数据库–守护–监视器，刷新监视器查看数据库状态，没有问题，搭建完成。 演示操作： 1.数据库环境介绍： 数据库版本：V8 操作系统版本：ContOS 7 三台主机IP：192.168.10.6 ，192.168.10.7 ，192.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值