HACMP学习之测试和故障排除

HACMP的测试：



1、网卡故障：

网络 接口故障：

用命令 ：# ps –ef | grep cluster，确认所有节点上的HACMP已启动。

用命令：# errclear 0，清空系统 错误日志。

用命令：# tail –f /tmp/hacmp.out，监控HACMP的运行 状态。

用命令：# ifconfig en0 down，宕掉Service网卡。

用命令：# netstat –in，查看Standby网卡是否接管了宕掉的Service网卡的IP地址 和MAC地址。

用命令：# ifconfig en1 down，宕掉接管了Service网卡IP地址和MAC地址后的Standby网卡。

用命令：# netstat –in，查看Service网卡是否将IP地址和MAC地址接管回来。

网卡连接电缆故障：

用命令：# ps –ef | grep cluster，确认所有节点上的HACMP已启动。

用命令：# errclear 0，清空系统错误日志。

用命令：# tail –f /tmp/hacmp.out，监控HACMP的运行状态。

断开与Service网卡连接的网线。

用命令：# netstat –in，查看Standby网卡是否接管了Service网卡的IP地址和MAC地址。

重新连接上与原Service网卡连接的网线。

用命令：# netstat –in，查看此时原Service网卡的IP地址和MAC地址是否为原Standby网卡的IP地址和Service地址。

断开与原Standby网卡连接的网线。

用命令：# netstat –in，查看Service网卡的IP地址和MAC地址是否恢复为原来的Service网卡的IP地址和MAC地址。

重新连接上与Standby网卡连接的网线。

用命令：# netstat –in，查看Standby网卡的IP地址和MAC地址是否恢复为原来的Standby网卡的IP地址和MAC地址。





节点故障：

模拟*作系统崩溃：

用命令：# ps –ef | grep cluster，确认所有节点上的HACMP已启动。

用命令：# errclear 0，清空系统错误日志。

用命令：# tail –f /tmp/hacmp.out，监控HACMP的运行状态。

用命令：# cat /etc/hosts > /dev/kmem，模拟*作系统崩溃状态。

用命令：# netstat –in、# lsvg –o、# ps –ef APP_PID，查看备份节点是否接管了故障节点的Service地址、共享卷组和应用 程序 。

重新启动故障节点，并启动HACMP。

用命令：# netstat –in、# lsvg –o、# ps –ef APP_PID，查看该节点是否将原属于他的Service地址、共享卷组和应用程序接管回来了。

模拟CPU故障：

用命令：# ps –ef | grep cluster，确认所有节点上的HACMP已启动。

用命令：# errclear 0，清空系统错误日志。

用命令：# tail –f /tmp/hacmp.out，监控HACMP的运行状态。

直接断开某个节点的电源，模拟CPU故障。

用命令：# netstat –in、# lsvg –o、# ps –ef APP_PID，查看备份节点是否接管了故障节点的Service地址、共享卷组和应用程序。

重新启动故障节点，并启动HACMP。

用命令：# netstat –in、# lsvg –o、# ps –ef APP_PID，查看该节点是否将原属于他的Service地址、共享卷组和应用程序接管回来了。







HACMP常见故障解决 ：



1、导致集群中节点失效的无反映开关（Deadman Switch）



问题现象：

集群中的节点经历着极端的性能问题，如：大量的I/O传输、过多的错误记录、内存不足等，导致集群管理 器（clstrmgr）没有得到足够的CPU处理时间 ，而引起无反映开关在分配的时间被重置。某个应用程序运行权限高过集群管理器时，会导致此问题。



解决方法：

术语“Deadman Switch”指的是在特定集群条件下，未能及时重置该开关，引起系统宕机和转储的内核扩展部分。无反映开关在超过了特定的时间限制后会宕掉处于挂起状态 的节点。此过程导致集群中的其它节点接管处于挂起状态节点的资源。要解决此问题需要解决与之相关的几个性能问题：

1、调整系统I/O pacing

2、增加信息同步（syncd）的频率

3、增加通信子系统使用的内存量

4、更改错误探测速率



1、调整系统使用I/O的步调：

使用I/O pacing调整系统，使得在大量写*作时，系统资源的分配更合理。为HACMP集群激活I/O Pacing是必要的，尤其是在集群中可能会有大量磁盘数据 块写*作的时侯。

按下述步骤修改I/O Pacing设置 ：

# smitty hacmp

Cluster Configuration

Advanced Performance Tuning Parameters

Change/Show I/O Pacing

修改HIGH water mark for pending write I/Os per file域，推荐 值为33，可用值在0－32767之间 。

修改LOW watermark for pending write I/Os per file域，推荐值为24，可用值在0－32767之间。

不同的系统，以上两个值也不同。修改上两个值只能稍微减少写次数，通常能够解决上述问题。



2、增大syncd的运行频率：

增加syncd的运行频率，使缺省60秒运行一次变为30秒、20秒或10秒运行一次。这样可以强迫增加I/O刷新速率，并减少由于沉重的I/O流量触发无反映开关的可能性。

按下述步骤修改syncd运行频率设置：

# smitty hacmp

Cluster Configuration

Advanced Performance Tuning Parameters

Change/Show syncd frequency

修改syncd frequency in seconds域，推荐值为10秒，可用值在0－32767之间。



3、增加通信子系统可用的内存量：

如果运行命令：# netstat –m，发现请求mbuf被拒绝，或运行命令# errpt发现LOW_MBUFS 错误，则应增加网络参数“thewall”的值。Thewall的缺省值为25％的系统实内存。可以将其增加为50％的系统实内存。

按下述步骤修改thewall值的设置：

# vi /etc/rc.net

在此文件 的末尾加入：

no -o thewall= xxxxx

xxxxx是指你希望设置的供通信子系统使用的实内存值。如：,

no -o thewall=10240



4、修改错误探测速率：

如果激活I/O Pacing或增加Syncd运行频率不能解决无反映开关不能重置的问题时，则修改错误探测速率，将其值该为Slow。这样可以延长一个挂起节点调用无反映开关之前，以及接管节点探测到节点故障并获得挂起节点资源之前所需的时间。

注意：

在完成上述步骤之前，I/O Pacing必须先激活。这是因为修改此设置会调整I/O数据的传输量。



八、HACMP 4.4.1及后续版本的改进：



1、首先现要将三个网络地址（Boot、Service、Standby）配置好，并在/etc/hosts文件中，将三个网络地址对应的卡标识编辑好。

2、然后按照：Cluster Topology -> Configure Networks -> Configure IP-Based Network -> Discover Current Network Configuration -> Local Network Configuration的顺序生成本节点上的逻辑接口配置清单。

3、再按照：Cluster Topology -> Configure Networks -> Configure IP-Based Network -> Add a Network的顺序定义IP网络。

4、该菜单中的各域内容如下：

Network Name：用户 指定的网络名字。

Network Attribute：指明该网络的类型：Public（TCPIP、Token-Ring、FDDI、SLIP），

Private（ATM）。

Network Type：指明该网络的网络类型（TCPIP、Token-Ring）。

Subnets：按F4从列表中选取Boot和Standby卡对应的子网。

5、网络配置完毕后，按照：Cluster Topology -> Configure Adapters -> Configure IP-based Adapters -> Discover Current Network Configuration的顺序收集当前的网络配置信息。

6、IP网络配置完毕后，按照：Cluster Topology -> Configure Networks -> Configure Non IP-Based Networks -> Add a Network的顺序配置非IP网络（心跳网络）。与IP网络不同的是需要指定一个网络名和网络类型（RS232）。

7、再根据：Cluster Topology -> Configure Adapters -> Configure IP-based Adapters -> Add an Adapter的顺序开始配置网卡。

8、选择一个欲增加网卡的子网，如果先前没有定义网络，则可以使用Add an Adapter on a new Network菜单创建网络。

9、该菜单中的各域内容如下：

Adapter IP Label：按F4从子网列表中选择欲配置的网卡。

Network Type：此域自动 生成。

Network Name：此域自动生成。

Adapter Function：表明此网卡的用途：Boot、Service、Standby。

Adapter Identifier：此卡的IP地址或设备 名。

Adapter Hardware Address：此卡的硬件地址，通常仅用于Service卡。

Node Name：该卡所在的节点名。

Netmask：该卡的子网掩码。

10、重复以上步骤，知道所有节点上的所有卡均配置完毕。

11、基于IP网络的网卡配置完毕后，再配置基于非IP网络的网卡。按照：Cluster

Topology -> Configure Adapters -> Configure Non IP-based Adapters -> Add an

Adapter > Choose Network for new Adapter的顺序配置基于非IP网络的网卡（心跳

线）。与基于IP网络的网卡不同之处在于基于非IP网络的网卡需要指定设备名

（Device Name）。