接用户电话,某行核心系统 业务反应缓慢,超时。到达现场后检查数据库状态,SQLPLUS登陆慢,命令敲下去基本上需要15秒以后登陆
检查等待事件,一切正常,检查LOG日志正常,系统无任何压力,VMSTAT 输出正常,用户反映ROOT登陆时也很慢。
申请停机,重启了两台550,重启后未启动HA,最简单环境下故障依旧,ROOT及SQLPLUS登陆很缓慢。HA重新同步时一次超时,一次通过,但是日志中取两节点信息时
有超时告警。
判断为网络故障。要求行里网络工程师介入,检查后未发现明显网络攻击。
PING HOSTS测试,发现ping IP地址一切正常,ping主机名不正常,需等待15秒左右。检查了/etc/hosts属性,未发现问题。
咨询了老工程师,建议检查DNS,于是停止了DNS解析,故障解除。后与总行沟通,确定当时DNS服务器出现故障。
回来查询相关文档,AIX中默认解析顺序为
- 使用 /etc/resolv.conf 文件中定义的 DNS/BIND 解析。
- NIS
- 查询 /etc/hosts 文件
可以通过建立或者修改 /etc/netsvc.conf 文件来修改这个缺省的解析顺序
在这个文件中加一行:
hosts=local,bind,nis这样主机IP地址就先从本地档案(/etc/hosts)开始搜索,其次再去DNS server,最後是NIS server。
而在LINUX中,
在/etc/nsswitch.conf这个文件里定义,
#vi /etc/nsswitch.conf
hosts: files dns默认情况下先走HOSTS ,再走DNS.
特此记录。