记一次数据守护的脑裂问题

记一次数据守护的脑裂问题

1 脑裂的介绍与现象

1.1 数据守护中的脑裂介绍

脑裂是同一个守护进程组中同时出现两个或者多个活动主库，并且这些主库都接收用户请求，提供完整数据库服务。一旦发生脑裂，将无法保证数据一致性，对数据安全造成严重后果。

DM数据守护系统为预防脑裂做了大量工作，例如故障自动切换模式的数据守护必须配置确认监视器。确认监视器启动故障切换之前，会进行严格的条件检查，避免脑裂发生。守护进程一旦检测到脑裂发生，会马上强制退出主库，等待用户干预，避免数据差异进一步扩大。

1.2 造成脑裂的主要原因

1）网络不稳定

2）错误的人工干预

2 脑裂的现象

2.1 监视器现象；show

2.2 GRP_01（之前的主库）

2.3 GRP_02（之前的备库）

可以看到监视器中WCTLSTAT列是SPLIT状态，这行记录为守护进程控制文件的状态，当显示SPLIT时，可判定集群发生了脑裂；

3 修复集群：

3.1 关闭监视器、守护进程和数据库服务进程

​ 先将监视器进程停掉，再将集群各节点的dmserver和dmwatcher进程停掉

3.2 删掉分裂库生成的守护进程控制文件

​ 守护进程在检测到本地库分裂时，自动创建 dmwatcher.ctl 文件，保存在数据文件路径下，并且文件中记录的状态一定是 Split 分裂状态。在对分裂库进行重建前，需要手动将 dmwatcher.ctl 文件删除，否则守护进程仍然会认定本地库为分裂库。

3.3 将两边的库都备份；

[dmdba@dw01 bin]$ ./dmrman 
dmrman V8
RMAN> backup database  '/opt/dmdbms/data/DAMENG/dm.ini'  full backupset  '/opt/dmdbms/data/DAMENG/arch/BACKUPSET_01'
backup database '/opt/dmdbms/data/DAMENG/dm.ini' full backupset '/opt/dmdbms/data/DAMENG/arch/BACKUPSET_01'
Database mode = 1, oguid = 453331
Normal of FAST
Normal of DEFAULT
Normal of RECYCLE
Normal of KEEP
Normal of ROLL
EP[0]'s cur_lsn[26411], file_lsn[26411]
Processing backupset /opt/dmdbms/data/DAMENG/arch/BACKUPSET_01
[Percent:100.00%][Speed:0.00M/s][Cost:00:00:00][Remaining:00:00:00]                                 
backup successfully!
time used: 00:00:01.662

3.3 备份恢复

​ 将CUR_LSN值较大的备份，拷贝至另一台服务器上，进行恢复

[dmdba@dw02 bin]$ ./dmrman
dmrman V8
RMAN> restore database '/opt/dmdbms/data/DAMENG/dm.ini' from backupset 
RMAN> recover database '/opt/dmdbms/data/DAMENG/dm.ini' from backupset 
RMAN> recover database '/opt/dmdbms/data/DAMENG/dm.ini' update db_magic;

3.4 配置恢复库

因为库还原成功后，数据库配置状态一定是priamry，所以要将恢复的库，修改状态为standby 	

[dmdba@dw02 bin]$ ./DmServiceDAMENG start
Starting DmServiceDAMENG:                                  [ OK ]

[dmdba@dw02 log]$ disql SYSDBA/SYSDBA

Server[LOCALHOST:5236]:mode is primary, state is mount
login used time : 2.389(ms)
disql V8
SQL> 
SQL> SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
SQL> alter database standby;
SQL> SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);

​ 查看状态已修改为standby

[dmdba@dw02 log]$ disql SYSDBA/SYSDBA

Server[LOCALHOST:5236]:mode is standby, state is mount
login used time : 1.737(ms)
disql V8
SQL> exit

4 启动所有数据库服务进程，数据守护进程，监视器

​ 依次启动后，此时集群会恢复正常：

---

更多资讯请上达梦技术社区了解：https://eco.dameng.com