rac心跳延迟现象及排查

首先可以比较一下rac心跳正常情况和发生心跳延迟时的awr情况：

先比较心跳流量

正常情况：

在正常情况下，心跳网络每秒流量基本上很小，这里才580k。

异常情况：

发生异常时，一般流量较大，这里每秒流量达到了24M，如果带宽比较小或者MTU大小为默认的1500，可能造成较大的影响。

比较消息队列平均发生时间

正常情况：

正常小于1ms。

异常情况：

发生异常情况，这里延迟就达到了20多毫秒。

心跳延迟会导致rac数据库性能下降，看到awr最多的就是gc等待，比如：

“gc cr block lost”

“gc current block lost”

严重的情况下会导致节点驱逐重启。

发生心跳延迟或者异常，需要从以下几个方面排查：

1、心跳流量是否达到了网络带宽的上限，可以通过：ethtool eth3、ethtool eth4去确定网口的协商速率。

2、通过netstat -s去检查ip项超时丢弃的和重组失败的。

3、调整mtu后需要测试mtu设置，mtu服务器和交换机都要调整

ping -c 2 -M do -s 1450 rac1-pri

ping -c 2 -M do -s 1572 rac1-pri

ping -c 2 -M do -s 8000 rac1-pri

没有调整当超过1500会出现：Message too long,mtu=1500

当MTU设置成9000时，ping -c 2 -M do -s 8973 rac1-pri ，-s 超过8972时，会出现如下提示：

icmp_seq=0 Frag needed and DF set (mtu = 9000)  --只要显示了mtu就说明超过了mtu的限制

正常情况：

1408 bytes from rac1-pri (172.16.28.1): icmp_seq=1 ttl=64 time=0.375 ms

4、当然还有可以通过oswatch的netstat日志去检查，当发现IpReasmFails指标开始增长，且增长速度很快，就说明私网通信有异常。

zzz ***Mon Dec 4 22:36:51 CST 2023

IpReasmFails 7121922 0.0

zzz ***Mon Dec 4 22:37:21 CST 2023

IpReasmFails 7121922 0.0

zzz ***Mon Dec 4 22:37:51 CST 2023

IpReasmFails 7121922 0.0

zzz ***Mon Dec 4 22:38:21 CST 2023

5、检查数据库或集群日志，当私网通信异常时，可能会有"IPC Send timeout detected"信息。