drbd脑裂问题处理

split brain实际上是指在某种情况下,造成drbd的两个节点断开了连接,都以primary的身份来运行。当drbd某


primary节点连接对方节点准备发送信息的时候如果发现对方也是primary状态,那么会会立刻自行断开连接,并认定


当前已经发生split brain了,这时候他会在系统日志中记录以下信息:“Split-Brain detected,dropping


connection!”当发生split brain之后,如果查看连接状态,其中至少会有一个是StandAlone状态,另外一个可能也是


StandAlone(如果是同时发现split brain状态),也有可能是WFConnection的状态。


 


mfs-master�0�2为主,mfs-log为辅;我个人觉得这个DRBD脑裂的行为,也应该是前期人为或是故障切换造成的,


如HA。今天在做HA+DRBD+MFS的时候,模拟mfs-master宕机看是否会自动切换的时候出现了drbd错误


在mfs-master机上�0�2断开primary�0�2�0�2down机或是断开网线


查看secondary机器的状态






查看挂载




[root@mfs-log mfs]# �0�2mount
/dev/drbd1 on /usr/local/mfs type ext3 (rw)
挂载也成功了,但是数据有问题,所以就先恢复mfs-master的drbd,我这里也就是启用网卡


原来的primary机器好了,出现脑裂了drbd1现在是standalone,这个时候,主跟辅是不会相互联系的






[root@mfs-master ~]# service drbd status
drbd driver loaded OK; device status:
version: 8.3.13 (api:88/proto:86-96)
GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by mockbuild@builder10.centos.org, 2012-
05-07 11:56:36
m:res cs ro ds p mounted fstype
1:r0 StandAlone Primary/Unknown UpToDate/DUnknown r----- ext3
这个时候,如果尝试把drbd2的drbd服务重启的话,你就会发现根本无法起来!


[root@mfs-log mfs]# service drbd start
Starting DRBD resources: [ ]..........
***************************************************************
DRBD's startup script waits for the peer node(s) to appear.
- In case this node was already a degraded cluster before the
reboot the timeout is 0 seconds. [degr-wfc-timeout]
- If the peer was available before the reboot the timeout will
expire after 0 seconds. [wfc-timeout]
(These values are for resource 'r0'; 0 sec -> wait forever)
To abort waiting enter 'yes' [ 487]:
原因分析


由于节点重启导致数据不一致,而配置文件中没有配置自动修复错误的内容,因而导致握手失败,数据无法同步。


split brain有两种解决办法:手动处理和自动处理。


手动处理:


两端节点上停止heartbeat


Heartbeat会锁定资源,只有停止后才能释放


[root@mfs-master ~]#�0�2/etc/init.d/heartbeat stop
在作为mfs-log的节点上放弃该资源的数据


[root@mfs-log ~]# drbdadm disconnect r0
[root@mfs-log ~]# drbdadm secondary r0
[root@mfs-log ~]# drbdadm -- --discard-my-data connect r0
然后在mfs-master(drbd1)上重连接资源:


[root@mfs-master ~]# drbdadm disconnect r0
[root@mfs-master ~]# drbdadm connect r0
把mfs-master设置为主节点


[root@mfs-master ~]# drbdadm primary r0
启动mfs-log(drbd2)上的drbd服务


[root@mfs-log mfs]# service drbd start
Starting DRBD resources: [ n(r0) ].
(实际采用的恢复方法)


先选择好一个备机,在备机上执行:


drbdadm secondary r0
drbdadm disconnect r0
drbdadm -- --discard-my-data connect r0
在主上执行:


drbdadm connect r0
查看主节点的状态�0�2显示为Primary,已经恢复了正常


[root@mfs-master ~]# cat /proc/drbd
version: 8.3.13 (api:88/proto:86-96)
GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by mockbuild@builder10.centos.org, 2012-
05-07 11:56:36
1: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
ns:28672 nr:0 dw:1 dr:28805 al:1 bm:4 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
然后查看备份机的状态:显示Secondary,恢复正常


[root@mfs-log ~]# cat /proc/drbd
version: 8.3.13 (api:88/proto:86-96)
GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by mockbuild@builder10.centos.org, 2012-
05-07 11:56:36
1: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----
ns:0 nr:28672 dw:28672 dr:0 al:0 bm:4 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
自动处理


通过/etc/drbd.conf配置中设置自动处理策略,在发生数据不一致时自动处理。自动处理策略定义如下:


1 after-sb-0pri.
当两个节点的状态都是secondary时,可以通过after-sb-0pri策略自动恢复。


1)disconnect
默认策略,没有自动恢复,简单的断开连接。


2)discard-younger-primary
在split brain发生前从主节点自动同步。


3)discard-older-primary
在split brain发生时从变成primary的节点同步数据。


4)discard-least-changes
在split brain发生时从块最多的节点同步数据。


5)discard-node-NODENAME
自动同步到名字节点




2 after-sb-1pri
当两个节点的状态只有一个是primary时,可以通过after-sb-1pri策略自动恢复。


1)disconnect
默认策略,没有自动恢复,简单的断开连接。


2)consensus
丢弃secondary或者简单的断开连接。


3)discard-secondary
丢弃secondary数据。


4)call-pri-lost-after-sb
按照after-sb-0pri的策略执行。




3 after-sb-2pri
当两个节点的状态都是primary时,可以通过after-sb-2pri策略自动恢复。


1)disconnect
默认策略,没有自动恢复,简单的断开连接。


2)violently-as0p
按照after-sb-0pri的策略执行。


3)call-pri-lost-after-sb
按照after-sb-0pri的策略执行,并丢弃其他节点。


配置自动恢复


编辑/etc/drbd.conf,找到resource r0部分添加到net选项里面,配置策略如下,所有节点完全一致。


#after-sb-0pri disconnect;
after-sb-0pri discard-younger-primary;
注:当两个节点的状态都是secondary时,可以通过after-sb-0pri策略自动恢复


在split brain发生前从主节点自动同步。


#after-sb-1pri disconnect;
after-sb-1pri discard-secondary;
注:当两个节点的状态只有一个是primary时,可以通过after-sb-1pri策略自动恢复。


丢弃secondary数据。


#after-sb-2pri disconnect;
after-sb-2pri call-pri-lost-after-sb;
注:当两个节点的状态都是primary时,可以通过after-sb-2pri策略自动恢复。


按照after-sb-0pri的策略执行,并丢弃其他节点。
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页