目录
一、集群架构规划
机器名 | IP 地址 | 初始状态 | 操作系统 |
A | 10.0.0.115 172.16.1.115 | 主库 GRP1_MPP_EP01 备库 GRP2_MPP_EP22 | Linux 3.10.0-1160.el7.x86_64 |
B | 10.0.0.116 172.16.1.116 | 主库 GRP2_MPP_EP02 备库 GRP1_MPP_EP11 | Linux 3.10.0-1160.el7.x86_64 |
C | 10.0.0.251 | 监视器 | Linux 3.10.0-1160.el7.x86_64 |
二、端口规划
1.主库
实例名 | PORT_NUM | MAL_INST_DW_PORT | MAL_HOST | MAL_PORT | MAL_DW_PORT | MPP实例序号 |
GRP1_MPP_EP01 | 5236 | 5243 | 172.16.1.115 | 5337 | 5253 | 0 |
GRP2_MPP_EP02 | 5236 | 5243 | 172.16.1.116 | 5337 | 5253 | 1 |
2.备库
实例名 | PORT_NUM | MAL_INST_DW_PORT | MAL_HOST | MAL_PORT | MAL_DW_PORT | 对应主库 |
GRP1_MPP_EP11 | 5237 | 5244 | 172.16.1.116 | 5338 | 5254 | GRP1_MPP_EP01 |
GRP2_MPP_EP22 | 5237 | 5244 | 172.16.1.115 | 5338 | 5254 | GRP2_MPP_EP02 |
3.守护进程规划
组名 | 实例名 | 所在机器 |
GRP1 | GRP1_MPP_EP01 | 172.16.1.115 |
GRP1_MPP_EP11 | 172.16.1.116 | |
GRP2 | GRP2_MPP_EP02 | 172.16.1.116 |
GRP2_MPP_EP22 | 172.16.1.115 |
三、集群搭建
1.数据准备
(1)初始化实例
A 机器上初始化库至目录/opt/dmdbms/data/EP01:
./dminit path=/opt/dmdbms/data/EP01
B 机器上初始化库至目录/opt/dmdbms/data/EP02:
./dminit path=/opt/dmdbms/data/EP02
(2)脱机备份还原数据库
- 配置 dm.ini,打开 ARCH_INI 参数
ARCH_INI = 1 ##打开归档配置
- 配置 dmarch.ini
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL ##本地归档类型
ARCH_DEST = /opt/dmdbms/data/DAMENG/arch ##本地归档文件存放路径
ARCH_FILE_SIZE = 128 ##单位Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 0 ##单位Mb,0表示无限制,范围1024~2147483647M
- 正常关闭数据库
- 进行脱机备份
./dmrman CTLSTMT="BACKUP DATABASE '/opt/dmdbms/data/EP01/DAMENG/dm.ini' FULL TO BACKUP_FILE1 BACKUPSET /opt/dmdbms/data/BACKUP_FILE_01'"
./dmrman CTLSTMT="BACKUP DATABASE '/opt/dmdbms/data/EP02/DAMENG/dm.ini' FULL TO BACKUP_FILE1 BACKUPSET /opt/dmdbms/data/BACKUP_FILE_01'"
- 拷贝备份文件到备库所在机器
scp -r /opt/dmdbms/data/EP01/BACKUP_FILE_01/ dmdba@10.0.0.116:/opt/dmdbms/data/EP11/
scp -r /opt/dmdbms/data/EP02/BACKUP_FILE_01/ dmdba@10.0.0.115:/opt/dmdbms/data/EP22/
- 执行脱机数据库还原与恢复
- 数据库还原:
./dmrman CTLSTMT="RESTORE DATABASE '/opt/dmdbms/data/EP11/DAMENG/dm.ini' FROM BACKUPSET '/opt/dmdbs/data/EP11/BACKUP_FILE_01'"
./dmrman CTLSTMT="RESTORE DATABASE '/opt/dmdbms/data/EP22/DAMENG/dm.ini' FROM BACKUPSET '/opt/dmdbs/data/EP22/BACKUP_FILE_01'"
因为脱机备份没有产生任何 REDO 日志,所以恢复这一步此处省略。
- 数据库更新:
./dmrman CTLSTMT="RECOVER DATABASE '/opt/dmdbms/data/EP11/DAMENG/dm.ini' UPDATE DB_MAGIC"
./dmrman CTLSTMT="RECOVER DATABASE '/opt/dmdbms/data/EP22/DAMENG/dm.ini' UPDATE DB_MAGIC"
2.配置主库 GRP1_MPP_EP01
(1)配置dm.ini
##实例名,建议使用“组名_守护环境_序号”的命名方式,总长度不能超过16
INSTANCE_NAME = GRP1_MPP_EP01
PORT_NUM = 5236 ##数据库实例监听端口
DW_INACTIVE_INTERVAL = 60 ##接收守护进程消息超时时间
ALTER_MODE_STATUS = 0 ##不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2 ##不允许备库OFFLINE表空间
MAL_INI = 1 ##打开MAL系统
ARCH_INI = 1 ##打开归档配置
MPP_INI = 1 ##启用MPP配置
RLOG_SEND_APPLY_MON = 64 ##统计最近64次的日志发送信息
(2)配置 dmmal.ini
MAL_CHECK_INTERVAL = 5 ##MAL链路检测时间间隔
MAL_CONN_FAIL_INTERVAL = 5 ##判定MAL链路断开的时间
[MAL_INST1]
MAL_INST_NAME = GRP1_MPP_EP01 ##实例名,和dm.ini中的INSTANCE_NAME一致
MAL_HOST = 172.16.1.115 ##MAL系统监听TCP连接的IP地址
MAL_PORT = 5337 ##MAL系统监听TCP连接的端口
MAL_INST_HOST = 10.0.0.115 ##实例的对外服务IP地址
MAL_INST_PORT = 5236 ##实例的对外服务端口,和dm.ini中的PORT_NUM一致
MAL_DW_PORT = 5253 ##实例对应的守护进程监听TCP连接的端口
MAL_INST_DW_PORT = 5243 ##实例监听守护进程TCP连接的端口
[MAL_INST2]
MAL_INST_NAME = GRP2_MPP_EP02
MAL_HOST = 172.16.1.116
MAL_PORT = 5337
MAL_INST_HOST = 10.0.0.116
MAL_INST_PORT = 5236
MAL_DW_PORT = 5253
MAL_INST_DW_PORT = 5243
[MAL_INST3]
MAL_INST_NAME = GRP1_MPP_EP11
MAL_HOST = 172.16.1.116
MAL_PORT = 5338
MAL_INST_HOST = 10.0.0.116
MAL_INST_PORT = 5237
MAL_DW_PORT = 5254
MAL_INST_DW_PORT = 5244
[MAL_INST4]
MAL_INST_NAME = GRP2_MPP_EP22
MAL_HOST = 172.16.1.115
MAL_PORT = 5338
MAL_INST_HOST = 10.0.0.115
MAL_INST_PORT = 5237
MAL_DW_PORT = 5254
MAL_INST_DW_PORT = 5244
(3)配置 dmarch.ini
[ARCHIVE_REALTIME1]
ARCH_TYPE = REALTIME ##实时归档类型
ARCH_DEST = GRP1_MPP_EP11 ##实时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL ##本地归档类型
ARCH_DEST = /opt/dmdbms/data/EP01/DAMENG/arch ##本地归档文件存放路径
ARCH_FILE_SIZE = 128 ##单位Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 0 ##单位Mb,0表示无限制,范围1024~4294967294M
(4)配置dmmpp.ctl
dmmpp.ctl 是二进制文件,由 dmmpp.ini 文本通过 dmctlcvt 工具转换而来,dmmpp.ini 配置项如下表:
配置项 | 配置含义 |
[SERVICE_NAME] | 标识每个实例的选项名 |
MPP_SEQ_NO | 实例在 MPP 系统内的序号 |
MPP_INST_NAME | 节点实例名 |
本例中两节点的 dmmpp.ini 配置如下:
[service_name1]
mpp_seq_no = 0
mpp_inst_name = GRP1_MPP_EP01
[service_name2]
mpp_seq_no = 1
mpp_inst_name = GRP2_MPP_EP02
转换命令如下:
./dmctlcvt T6YPE=2 SRC=/opt/dmdbms/data/EP01/DAMENG/dmmpp.ini DEST=/opt/dmdbms/data/EP01/DAMENG/dmmpp.ctl
(5)启动主库
./dmserver /opt/dmdbms/data/EP01/DAMENG/dm.ini mount
(6)设置 OGUID并修改数据库模式
./disql SYSDBA/'"SYSDBA"'@10.0.0.115:5236#"{mpp_type=local}"
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
SQL>sp_set_oguid(45330);
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
SQL>alter database primary;
3.配置主库 GRP2_MPP_EP02
(1)配置dm.ini
##实例名,建议使用“组名_守护环境_序号”的命名方式,总长度不能超过16
INSTANCE_NAME = GRP1_MPP_EP02
PORT_NUM = 5236 ##数据库实例监听端口
DW_INACTIVE_INTERVAL = 60 ##接收守护进程消息超时时间
ALTER_MODE_STATUS = 0 ##不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2 ##不允许备库OFFLINE表空间
MAL_INI = 1 ##打开MAL系统
ARCH_INI = 1 ##打开归档配置
MPP_INI = 1 ##启用MPP配置
RLOG_SEND_APPLY_MON = 64 ##统计最近64次的日志发送信息
(2)配置 dmmal.ini
scp -r /opt/dmdbms/data/EP01/DAMENG/dmmal.ini dmdba@10.0.0.116:/opt/dmdbms/data/EP02/DAMENG/
(3)配置 dmarch.ini
[ARCHIVE_REALTIME1]
ARCH_TYPE = REALTIME ##实时归档类型
ARCH_DEST = GRP1_MPP_EP22 ##实时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL ##本地归档类型
ARCH_DEST = /opt/dmdbms/data/EP02/DAMENG/arch ##本地归档文件存放路径
ARCH_FILE_SIZE = 128 ##单位Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 0 ##单位Mb,0表示无限制,范围1024~4294967294M
(4)配置dmmpp.ctl
scp -r /opt/dmdbms/data/EP01/DAMENG/dmmpp.ctl dmdba@10.0.0.116:/opt/dmdbms/data/EP02/DAMENG/
(5)启动主库
./dmserver /opt/dmdbms/data/EP02/DAMENG/dm.ini mount
(6)设置 OGUID并修改数据库模式
./disql SYSDBA/'"SYSDBA"'@10.0.0.116:5236#"{mpp_type=local}"
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
SQL>sp_set_oguid(45331);
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
SQL>alter database primary;
4.配置备库 GRP2_MPP_EP11
(1)配置dm.ini
##实例名,建议使用“组名_守护环境_序号”的命名方式,总长度不能超过16
INSTANCE_NAME = GRP1_MPP_EP11
PORT_NUM = 5237 ##数据库实例监听端口
DW_INACTIVE_INTERVAL = 60 ##接收守护进程消息超时时间
ALTER_MODE_STATUS = 0 ##不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2 ##不允许备库OFFLINE表空间
MAL_INI = 1 ##打开MAL系统
ARCH_INI = 1 ##打开归档配置
MPP_INI = 1 ##启用MPP配置
RLOG_SEND_APPLY_MON = 64 ##统计最近64次的日志发送信息
(2)配置 dmmal.ini
scp -r /opt/dmdbms/data/EP01/DAMENG/dmmal.ini dmdba@10.0.0.116:/opt/dmdbms/data/EP11/DAMENG/
(3)配置 dmarch.ini
[ARCHIVE_REALTIME1]
ARCH_TYPE = REALTIME ##实时归档类型
ARCH_DEST = GRP1_MPP_EP01 ##实时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL ##本地归档类型
ARCH_DEST = /opt/dmdbms/data/EP11/DAMENG/arch ##本地归档文件存放路径
ARCH_FILE_SIZE = 128 ##单位Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 0 ##单位Mb,0表示无限制,范围1024~4294967294M
(4)配置dmmpp.ctl
scp -r /opt/dmdbms/data/EP01/DAMENG/dmmpp.ctl dmdba@10.0.0.116:/opt/dmdbms/data/EP11/DAMENG/
(5)启动主库
./dmserver /opt/dmdbms/data/EP11/DAMENG/dm.ini mount
(6)设置 OGUID并修改数据库模式
./disql SYSDBA/'"SYSDBA"'@172.16.1.116:5237#"{mpp_type=local}"
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
SQL>sp_set_oguid(45330);
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
SQL>alter database standby;
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
5.配置备库 GRP2_MPP_EP22
(1)配置dm.ini
##实例名,建议使用“组名_守护环境_序号”的命名方式,总长度不能超过16
INSTANCE_NAME = GRP1_MPP_EP22
PORT_NUM = 5237 ##数据库实例监听端口
DW_INACTIVE_INTERVAL = 60 ##接收守护进程消息超时时间
ALTER_MODE_STATUS = 0 ##不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2 ##不允许备库OFFLINE表空间
MAL_INI = 1 ##打开MAL系统
ARCH_INI = 1 ##打开归档配置
MPP_INI = 1 ##启用MPP配置
RLOG_SEND_APPLY_MON = 64 ##统计最近64次的日志发送信息
(2)配置 dmmal.ini
cp /opt/dmdbms/data/EP01/DAMENG/dmmal.ini /opt/dmdbms/data/EP22/DAMENG/
(3)配置 dmarch.ini
[ARCHIVE_REALTIME1]
ARCH_TYPE = REALTIME ##实时归档类型
ARCH_DEST = GRP1_MPP_EP02 ##实时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL ##本地归档类型
ARCH_DEST = /opt/dmdbms/data/EP22/DAMENG/arch ##本地归档文件存放路径
ARCH_FILE_SIZE = 128 ##单位Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 0 ##单位Mb,0表示无限制,范围1024~4294967294M
(4)配置dmmpp.ctl
cp /opt/dmdbms/data/EP01/DAMENG/dmmpp.ctl /opt/dmdbms/data/EP22/DAMENG/
(5)启动主库
./dmserver /opt/dmdbms/data/EP22/DAMENG/dm.ini mount
(6)设置 OGUID并修改数据库模式
./disql SYSDBA/'"SYSDBA"'@172.16.1.115:5237#"{mpp_type=local}"
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
SQL>sp_set_oguid(45331);
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
SQL>alter database standby;
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
6.配置 dmwatcher.ini
(1)A机器
[GRP1]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #自动切换模式
DW_ERROR_TIME = 10 #远程守护进程故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 #本地实例故障认定时间
INST_OGUID = 45330 #守护系统唯一OGUID值
INST_INI = /opt/dmdbms/data/EP01/DAMENG/dm.ini #dm.ini配置文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /opt/dmdbms/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值,默认关闭
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值,默认关闭
[GRP2]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #自动切换模式
DW_ERROR_TIME = 10 #远程守护进程故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 #本地实例故障认定时间
INST_OGUID = 45331 #守护系统唯一OGUID值
INST_INI = /opt/dmdbms/data/EP22/DAMENG/dm.ini #dm.ini配置文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /dm/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值,默认关闭
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值,默认关闭
(2)B机器
[GRP1]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #自动切换模式
DW_ERROR_TIME = 10 #远程守护进程故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 #本地实例故障认定时间
INST_OGUID = 45330 #守护系统唯一OGUID值
INST_INI = /opt/dmdbms/data/EP11/DAMENG/dm.ini #dm.ini配置文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /opt/dmdbms/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值,默认关闭
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值,默认关闭
[GRP2]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #自动切换模式
DW_ERROR_TIME = 10 #远程守护进程故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 #本地实例故障认定时间
INST_OGUID = 45331 #守护系统唯一OGUID值
INST_INI = /dmdbms/data/EP02/DAMENG/dm.ini #dm.ini配置文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /opt/dmdbms/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值,默认关闭
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值,默认关闭
7.配置监视器
(1)创建确认监视器dmmonitor.ini
[dmdba@~]$ vi /opt/dmdbms/bin/dmmonitor.ini
MON_DW_CONFIRM = 1 #0:非确认(故障手切) 1:确认(故障自切)
MON_LOG_PATH = ../log #监视器日志文件存放路径
MON_LOG_INTERVAL = 60 #每隔 60s 定时记录系统信息到日志文件
MON_LOG_FILE_SIZE = 512 #单个日志大小,单位 MB
MON_LOG_SPACE_LIMIT = 2048 #日志上限,单位 MB
[GRP1]
MON_INST_OGUID = 45330 ##组GRP1的唯一OGUID值
##以下配置为监视器到组GRP1的守护进程的连接信息,以“IP:PORT”的形式配置
##IP对应dmmal.ini中的MAL_HOST,PORT对应dmmal.ini中的MAL_DW_PORT
MON_DW_IP = 172.16.1.115:5253
MON_DW_IP = 172.16.1.116:5254
[GRP2]
MON_INST_OGUID = 45331 ##组GRP2的唯一OGUID值
##以下配置为监视器到组GRP2的守护进程的连接信息,以“IP:PORT”的形式配置
##IP对应dmmal.ini中的MAL_HOST,PORT对应dmmal.ini中的MAL_DW_PORT
MON_DW_IP = 172.16.1.116:5253
MON_DW_IP = 172.16.1.115:5254
(2)启动守护进程
##A/B机器
./dmwatcher /dm/data/EP01/DAMENG/dmwatcher.ini
(3)启动监视器
./dmmonitor /dm/data/dmmonitor.ini