热贴讨论：RHCS中的fence设备讨论

最新推荐文章于 2024-10-31 13:48:35 发布

clliugw

最新推荐文章于 2024-10-31 13:48:35 发布

阅读量2.1k

点赞数

分类专栏： LINUX/UNIX 文章标签： sybase 测试 ibm redhat network delay

LINUX/UNIX 专栏收录该内容

22 篇文章 0 订阅

订阅专栏

在linux-ha项目中，开始越来越关注io　fence设备。
并且在rhes４中ha也支持更多的io　fence设备。
１.为什么要用io　fence设备：因为纯粹用软件的方式并不能够提供完全意义上的ＨＡ。所以需要额外的硬件来进行支持。
IXDBA.NET技术社区
２.那些设备能作为io　fence：
eg：　SCSI/FC 磁盘阵列；
　　　Power swith;
LAN/FC swith;
Network adapter; 等。
３.io fence设备最根本的作用是防止split-brain
RHAS4+RHCS4,拔掉电源会资源不切换
其他没什么可说的，fence device 用的是IBM BMC，用的是IPMI LAN，
现在问题是，拔网线什么的都能正常切换，备机会将主机重起并把服务和资源接管过来
但是拔掉一台的电源后，显示：
fence node db2:
然后总显示
fence node db2 failed,
然后服务也不发生切换
什么问题呢，谢谢解答，高手帮忙

fence device应该没问题，因为我做拔网线的测试时，拔掉A机的网线，B机会发送fence信号，然后A机会重起，然后B机会正常接管服务的。
我用的是主版集成的IPMI设备，可以把fence device选成IPMI LAN，直接用RHAS4。4自带的IPMI服务就能驱起来，并且能工作，2台机器的IPMI网口直连，另一网口接交换机，
测试时，拔掉A机接交换机的网线，B机能够用fence信号将A机重起，返回成功信息，并将服务和资源接管过来；A机起来后，同样拔掉B机接交换机的网线，A机能够用fence信号将B机重起，返回成功信息，并将服务和资源接管过来；
但是，如果拔掉A机电源线的话，切换就会有问题，B机同样会发出fence 信号，但是因为A机的电源已断，不能重起，也不能有成功信号返回，结果备机就会一直显示fence failed,而不去接管服务，这是不是RHCS的一个BUG呢？还是IPMI device就不支持拔电源呢，楼主请指教。
附上cluster.conf文件，帮看一下有没问题，谢谢斑竹

<?xml version="1.0"?>
<cluster alias="dbcluster" config_version="2" name="alpha_cluster">
        <fence_daemon post_fail_delay="0" post_join_delay="3"/>
        <clusternodes>
                <clusternode name="netview1" votes="1">
                        <fence>
                                <method name="1">
                                        <device name="bmc"/>
                                </method>
                        </fence>
                </clusternode>
                <clusternode name="netview2" votes="1">
                        <fence>
                                <method name="1"> <device name="bmc"/>
                                </method>
                        </fence>
                </clusternode>
        </clusternodes>
        <cman expected_votes="1" two_node="1"/>
        <fencedevices>
                <fencedevice agent="fence_ipmilan" auth="none" ipaddr="10.10.10.100" login="USERID" name="bmc" passwd="PASSW0RD"/>
        </fencedevices>
        <rm>
                <failoverdomains>
                        <failoverdomain name="sybase" ordered="0" restricted="1">
                                <failoverdomainnode name="netview2" priority="1"/>
                                <failoverdomainnode name="netview1" priority="1"/>
                        </failoverdomain>
                </failoverdomains>
                <resources>
                        <fs device="/dev/sdb1" force_fsck="0" force_unmount="1" fsid="57438" fstype="ext3" mountpoint="/sybasedata" name="shdisk" options="" self_fence="0"/>
                        <ip address="192.168.10.91" monitor_link="1"/>
                        <ip address="192.168.16.92" monitor_link="1"/>
                        <ip address="192.168.16.93" monitor_link="1"/>
                        <script file="/cluster/dbstart.sh" name="dbscript"/>
                </resources>
                <service autostart="1" domain="sybase" name="sybase"> <ip ref="192.168.16.93">
                                <fs ref="shdisk"/>
                                <script ref="dbscript"/>
                        </ip>
                </service>
        </rm>
</cluster>
有了结果了
下午找了REDHAT 800，终于问出了个结果，
REDHAT的fence device有两种，内部fence设备（如IBM RSAII卡，HP的iLO卡，还有IPMI的设备等）和外部fence 设备（如UPS，SAN SWITCH，NETWORK SWITCH等）。
IXDBA.NET技术社区
对于外部fence 设备，可以做拔电源的测试，因为备机可以接受到fence device返回的信号，备机可以正常接管服务，
对于内部fence 设备，不能做拔电源的测试，因为主机断电后，备机接受不到主板芯片做为fence device返备的信号，就不能接管服务，clustat会看到资源的属主是unknow,查看日志会看到持续报fence failed的信息。

所以以后在做项目时要分清楚，写测试报告时不要给自己下套，在内部fence时写拔电源可以切换
RHAS4+RHCS4，问个问题做双机热备，但现在没有另加fence设备，是不是只能配成手动模式啊？
还有配成其他模式，一般都需要些什么设备啊？能否介绍以下，谢谢！

最近对fence device看了很多，只讲一下自己理解的，
如果没有fence device就只能配成manual fence，这种fence device在切换侧室时，要手动的在备机上输入fence_man_alk（好象是这个，在日志中能看到，自己确认一下）那个命令，备机才能接管资源，启动服务。
至于支持的fence设备，可以在rhcs的官方文档中看到，
还告诉大家一个消息，对于主版集成IPMI设备的机器，可以把fence device选成IPMI LAN，直接用RHAS4。4自带的IPMI服务就能驱起来，并且能工作，2台机器的IPMI网口直连，但是，如果有一台机器完全拔掉电源的话，切换就会有问题，估计是RHCS的一个问题，因为备机只有在fence命令必须等到一个成功的返回后才去接管服务，可是主机电源线都把了，不可能有回复了，结果备机就会一直显示fence failed,而不去接管服务，这是不是RHCS的一个BUG呢？

据我理解，fence device就是起如下的作用，当意外原因导致主机的服务停止或当机时，LINUX为了保证数据的完整性，在主机的服务重起之前，由备机发出重起机器的信号，将主机机器重新启动，这个过程中，备机会接管服务。fence device就是发出这个重起信号的设备。
我自己配了一个用HP－iLO实现的，感觉就是为了保证共享盘的独占，只有等到收到故障机器已经开始重启的信号，备机才开始接管服务。就是先向故障机器的iLO口发一个reboot信号，然后开始阶段性从故障机器iLO取机器状态，直到取到状态为DOWN。

这个帖子是为了答复simonocn的问题，同时给大家共享一下
ibm pc server + rhas4.4 + rhcs4.4 配置fence的方法如下：
硬件：
1、在2台服务器上，在BIOS里配置BMC的IP地址，如192.168.10.100，两台机器一样
2、把2台机器的1网口用一根直连线连起来，或接到同一交换机上或同一VLAN中，

软件：
1、在2台服务器上，配置系统中1网口对应的网卡（ethx），将IP地址配为192.168.10.101和192.168.10.102 ，两台机器不能一样，然后都ping 一下192.168.10.100看能通就OK了，2、在服务中将IPMI服务启动，用
service ipmi start
设成开机自启动
chkconfig ipmi on
3、在cluster中设置fence device时，
选IPMI
名称：bmc（随便起的，什么都行）地址输入：192.168.10.100
用户名：USERID
密码：PASSW0RD（注意，默认就是PASSWORD把‘O’换成‘0’，如果改了就自己填一下）
认证方式：空着，不填就行
这样就可以了，其他的CLUSTER该怎么设就怎么设吧
最后还是注意，测试时不能拔电源测试，这种内部fence device不支持拔电源测试。因为拔掉电源后备机就不能和主机通信了，cluster就不能正常工作了，即使再插上电源也不管用。只能重起cluster服务了。