DM8主备与读写分离集群概念与搭建
- 了解DM数据守护与读写分离的相关概念
1)、DM数据守护(Data Watch)
DM数据守护(Data Watch)是一种集成化的高可靠性解决方案,同时满足用户对数据安全性和高可用性的要求。
2)、实时主备
实时主备由一个主库以及一个或者多个配置了实时(Realtime)归档的备库组成,其主要目的是保障数据库可用性,提高数据安全性。
3)、MPP主备
MPP主备就是在MPP集群的基础上,为每一个MPP节点配置一套实时主备系统,这些实
时主备系统一起构成了MPP主备系统。
4)、读写分离集群
读写分离集群由一个主库以及一个或者多个配置了即时(Timely)归档或实时
(Realtime)归档的备库组成,其主要目标是在保障数据库可用性基础上,实现读、写操
作的自动分离,进一步提升数据库的业务支撑能力。
5)、归档介绍 [1]
DM8读写分离集群严禁使用timely即时归档,要配置实时归档并且增加ARCH_WAIT-APPLY=1。
本地归档:Redo 日志本地归档(Local),就是将 Redo 日志写入到本地归档日志文件的过程。
远程归档:所谓远程归档(REMOTE ARCHIVE),顾名思义就是将归档目录配置在远程节点上。
(本地归档、实时归档和即时归档均包含两种状态:Valid 和 Invalid。
Valid 归档有效,正常执行各种数据库归档操作。
Invalid 归档无效,主数据库不发送联机 Redo 日志到备数据库。)
实时归档是实时主备数据同步的基础
实时归档:实时归档(Realtime)将主库产生的Redo 日志通过 MAL 系统传递到备库,实时归档是实时主备和 MPP 主备的实现基础。
即时归档:即时归档(Timely)在主库将 Redo 日志写入联机日志文件后,通过 MAL 系统将 Redo 日志发送到备库。即时归档与实时归档的主要区别是 Redo 日志的发送时机不同。
异步归档:异步归档(Async)由主、备库上配置的定时器触发,根据异步备库的 KEEP LSN 信息,扫描本地归档目录获取 Redo 日志,并通过 MAL 系统将 Redo 日志发送到异步备库。异步备库的 Redo 日志重演过程与实时归档等其他类型的归档完全一致。?[2]
6)、MAL 系统
MAL 系统是基于 TCP 协议实现的一种内部通信机制,具有可靠、灵活、高效的特性。
DM 通过 MAL 系统实现 Redo 日志传输,以及其他一些实例间的消息通讯。
7)、OGUID
数据守护唯一标识码,配置数据守护时,需要由用户指定 OGUID 值。
(OGUID 的查询方式:SELECT OGUID FROM V$INSTANCE;)
同一守护进程组中的所有数据库、守护进程和监视器,都必须配置相同的 OGUID 值,
取值范围为
8)、永久魔数(PMNT_MAGIC)
永久魔数,用来唯一标识数据库,初始化数据库时生成并保持不变,数据守护集群中所有主备库的 PMNT_MAGIC 是相同的。
- 搭建实时主备
1)、环境说明
1.1配置环境说明
查看IP (命令ip a)
主机类型 | IP地址 | 实例名 | 操作系统 |
主库 | 192.168.163.160(内外部一致) | GRP01 | Centos7.5.1804 |
备库 | 192.168.163.161(内外部一致) | GRP02 | Centos 7.5.1804 |
监视器 | 192.168.163.161(内外部一致) | Centos 7.5.1804 |
1.2端口规划:
规划好各个端口
实例名 | PORT_NUM | MAL_INST_DW_PORT | MAL_HOST | MAL_PORT | MAL_DW_PORT |
GRP01 | 32141 | 33141 | 192.168.163.160 | 61142 | 52141 |
GRP02 | 32142 | 33141 | 192.168.163.161 | 61142 | 52141 |
MAL_DW_PORT: 守护进程监听端口,其他守护进程或监视器使用 MAL_HOST + MAL_DW_PORT 创建 TCP连接。监视器配置文件 dmmonitor.ini 中,MON_DW_IP 就是一组 MAL_HOST: MAL_DW_PORT。
MAL_INST_DW_PORT:实例对守护进程的监听端口,守护进程使用 MAL_HOST + MAL_INST_DW_PORT 创建到实例的 TCP 连接。
2)、数据准备
对已经开好归档的主备库进行数据准备
1. 正常关闭数据库实例
2. 进行脱机备份
3.使用scp命令将主库备份文件传到备库
[dmdba@localhost data]$ scp -r /data/bak dmdba@192.168.163.161:/data/kkk
dmdba@192.168.163.161's password:
bak.bak 100% 17MB 49.3MB/s 00:00
bak.meta 100% 77KB 14.2MB/s 00:00
4.在备库用传过来的文件进行还原。
3、搭建
3.1配置主库GRP1_RT_01
1)、修改dm.ini文件,设置以下参数
INSTANCE_NAME = GRP1_RT_01 #实例名,建议使用“组名_守护环境_序号”的命名方式,总长度不能超过 16
PORT_NUM = 32141 #数据库实例监听端口,即对外端口,与 dmmal.ini 中 的 MAL_INST_PORT 对应
DW_INACTIVE_INTERVAL = 60 #接收守护进程消息超时时间
ALTER_MODE_STATUS = 0 #不允许手动方式修改实例模式/状态/OGUID,
ENABLE_OFFLINE_TS = 2 #不允许备库 OFFLINE 表空间
MAL_INI = 1 #打开 MAL 系统
ARCH_INI = 1 #打开归档配置
RLOG_SEND_APPLY_MON = 64 #统计最近 64 次的日志发送信息
2)、修改dmmal.ini文件(注意,同一组内的所有机器dmmal.ini文件均一致)
MAL_CHECK_INTERVAL = 5 #MAL 链路检测时间间隔
MAL_CONN_FAIL_INTERVAL = 5 #判定 MAL 链路断开的时间
[MAL_INST1]
MAL_INST_NAME = GRP1_RT_01 #实例名,和 dm.ini 中的 INSTANCE_NAME 一致 MAL_HOST = 192.168.163.160#MAL 系统监听 TCP 连接的 IP 地址
MAL_PORT = 61141 #MAL 系统监听 TCP 连接的端口
MAL_INST_HOST = 192.168.163.160 #实例的对外服务 IP 地址
MAL_INST_PORT = 32141 #实例的对外服务端口,和 dm.ini 中的 PORT_NUM 一致 MAL_DW_PORT = 52141 #实例本地的守护进程监听 TCP 连接的端口 MAL_INST_DW_PORT = 33141 #实例监听守护进程 TCP 连接的端口
[MAL_INST2]
MAL_INST_NAME = GRP1_RT_02
MAL_HOST = 192.168.163.161
MAL_PORT = 61142
MAL_INST_HOST = 192.168.163.161
MAL_INST_PORT = 32142
MAL_DW_PORT = 52142
MAL_INST_DW_PORT = 33142
3)、修改dmarch.ini文件(实时归档到备库GRP1_RT_02)
[ARCHIVE_REALTIME]
ARCH_TYPE = REALTIME #实时归档类型
ARCH_DEST = GRP1_RT_02 #实时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /data/arch #本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 1024#单位 Mb,0 表示无限制,范围 1024~2147483647M
4)、配置 dmwatcher.ini(配置为全局守护类型,使用自动切换模式
[GRP1]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #自动切换模式
DW_ERROR_TIME = 10 #远程守护进程故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 #本地实例故障认定时间
INST_OGUID = 453331 #守护系统唯一 OGUID 值
INST_INI = /data/DAMENG/dm.ini #dm.ini 配置文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /home/dmdba/dmdbms/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值,默认关闭
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值,默认关闭
5)、启动主库实例
./dmserver /data/DAMENG/dm.ini mount
一定要以 Mount 方式启动数据库实例,否则系统启动时会重构回滚表空间,生 成 Redo 日志;并且,启动后应用可能连接到数据库实例进行操作,破坏主备 库的数据一致性。数据守护配置结束后,守护进程会自动 Open 数据库。
6)、设置OGUID
启动命令行工具 disql,登录主库设置 OGUID 值,登录主库修改数据库为 Primary 模式。
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);#开启修改权限
SQL>sp_set_oguid(453331);
SQL>alter database primary;
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);关闭修改权限
3.2配置备库GRP1_RT_02
1)、修改dm.ini文件,设置以下参数
INSTANCE_NAME = GRP1_RT_02 #实例名,建议使用“组名_守护环境_序号”的命名方式,总长度不能超过 16
PORT_NUM = 32142 #数据库实例监听端口,即对外端口,与 dmmal.ini 中 的 MAL_INST_PORT 对应
DW_INACTIVE_INTERVAL = 60 #接收守护进程消息超时时间
ALTER_MODE_STATUS = 0 #不允许手动方式修改实例模式/状态/OGUID,
ENABLE_OFFLINE_TS = 2 #不允许备库 OFFLINE 表空间
MAL_INI = 1 #打开 MAL 系统
ARCH_INI = 1 #打开归档配置
RLOG_SEND_APPLY_MON = 64 #统计最近 64 次的日志发送信息
2)、修改dmmal.ini文件(注意,同一组内的所有机器dmmal.ini文件均一致)
MAL_CHECK_INTERVAL = 5 #MAL 链路检测时间间隔
MAL_CONN_FAIL_INTERVAL = 5 #判定 MAL 链路断开的时间
[MAL_INST1]
MAL_INST_NAME = GRP1_RT_01 #实例名,和 dm.ini 中的 INSTANCE_NAME 一致 MAL_HOST = 192.168.163.160#MAL 系统监听 TCP 连接的 IP 地址
MAL_PORT = 61141 #MAL 系统监听 TCP 连接的端口
MAL_INST_HOST = 192.168.163.160 #实例的对外服务 IP 地址
MAL_INST_PORT = 32141 #实例的对外服务端口,和 dm.ini 中的 PORT_NUM 一致 MAL_DW_PORT = 52141 #实例本地的守护进程监听 TCP 连接的端口 MAL_INST_DW_PORT = 33141 #实例监听守护进程 TCP 连接的端口
[MAL_INST2]
MAL_INST_NAME = GRP1_RT_02
MAL_HOST = 192.168.163.161
MAL_PORT = 61142
MAL_INST_HOST = 192.168.163.161
MAL_INST_PORT = 32142
MAL_DW_PORT = 52142
MAL_INST_DW_PORT = 33142
3)、修改dmarch.ini文件(实时归档到备库GRP1_RT_02)
当前实例 GRP1_RT_02 是备库,守护系统配置完成后,可能在各种故障处理中,GRP1_RT_02 切换为新的主库,正常情况下,GRP1_RT_01 会切换为新的备库,需要向GRP1_RT_01 同步数据,因此实时归档的 ARCH_DEST 配置为 GRP1_RT_01。
[ARCHIVE_REALTIME]
ARCH_TYPE = REALTIME #实时归档类型
ARCH_DEST = GRP1_RT_01 #实时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /data/arch #本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 1024#单位 Mb,0 表示无限制,范围 1024~2147483647M
4)、配置 dmwatcher.ini(配置为全局守护类型,使用自动切换模式
[GRP1]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #自动切换模式
DW_ERROR_TIME = 10 #远程守护进程故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 #本地实例故障认定时间
INST_OGUID = 453331 #守护系统唯一 OGUID 值
INST_INI = /data/DAMENG/dm.ini #dm.ini 配置文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /home/dmdba/dmdbms/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值,默认关闭
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值,默认关闭
5)、启动主库实例
./dmserver /data/DAMENG/dm.ini mount
一定要以 Mount 方式启动数据库实例,否则系统启动时会重构回滚表空间,生 成 Redo 日志;并且,启动后应用可能连接到数据库实例进行操作,破坏主备 库的数据一致性。数据守护配置结束后,守护进程会自动 Open 数据库。
6)、设置OGUID
启动命令行工具 disql,登录主库设置 OGUID 值,登录主库修改数据库为 Primary 模式。
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);#开启修改权限
SQL>sp_set_oguid(453331);
SQL>alter database primary;
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);关闭修改权限
3.3配置监视器(单实例监视器)
监视器在一般情况下需要单独的服务器
修改dmmonitor.ini文件
MON_DW_CONFIRM = 1 #确认监视器模式
MON_LOG_PATH = /data/monlog #监视器日志文件存放路径
MON_LOG_INTERVAL = 60 #每隔 60s 定时记录系统信息到日志文件
MON_LOG_FILE_SIZE = 32 #每个日志文件最大 32M
MON_LOG_SPACE_LIMIT = 0 #不限定日志文件总占用空间
[GRP1]
MON_INST_OGUID = 453331 #组 GRP1 的唯一 OGUID 值
#以下配置为监视器到组 GRP1 的守护进程的连接信息,以―IP:PORT‖的形式配置
#IP 对应 dmmal.ini 中的 MAL_HOST,PORT 对应 dmmal.ini 中的 MAL_DW_PORT
MON_DW_IP = 192.168.163.160:52141
MON_DW_IP = 192.168.163.161:52142
4、启动并注册服务
4.1启动顺序
1)、先启动主库守护进程
./dmwatcher /data/DAMENG/dmwatcher.ini
2)、启动备库守护进程
./dmwatcher /data/DAMENG/dmwatcher.ini
3)、启动监视器
./dmmonitor /data/DAMENG/dmmonitor.ini
若正常启动且无报错,则可注册服务
关闭顺序:先关监视器à关备库守护进程à关主库守护进程à关主库实例服务à关备库实例服务
4.2注册服务
1)主库
./dm_service_installer.sh -t dmserver -m mount -dm_ini /data/DAMENG/dm.ini -p GRP01
#注册已mount方式启动的服务
./dm_service_installer.sh -t dmwatcher -watcher_ini /data/DAMENG/dmwatcher.ini -p GRP01
#注册守护进程
2)备库
./dm_service_installer.sh -t dmserver -m mount -dm_ini /data/DAMENG/dm.ini -p GRP02
#注册已mount方式启动的服务
./dm_service_installer.sh -t dmwatcher -watcher_ini /data/DAMENG/dmwatcher.ini -p GRP02
#注册守护进程
3)监视器
./dm_service_installer.sh -t dmmonitor -monitor_ini /data/DAMENG/dmmonitor.ini -p DMMONITOR
#注册监视器
5集群开关顺序
5.1打开顺序
./DmServiceGRP01 start #以mount方式启动主库实例
./DmServiceGRP02 start #以mount方式启动备库实例
./DmWatcherServiceGRP01 start #启动主库数据守护
./DmWatcherServiceGRP02 start #启动备库数据守护
./DmMonitorServiceGRP1 start #启动监视器
5.2关闭顺序
先关监视器 关备库守护进程 关主库守护进程 关主库实例服务 关备库实例服务