SHELL脚本：检测一坨IP是否都能ping通（网卡监控）

http://blog.chinaunix.net/uid-22101889-id-3166971.html

工作快3年了，期间遇见过不少problems，每次都是上网搜之、解决了就算完了。也不曾写过什么文章。最近看见好多帖子提出的问题都是我曾遇见过的，但下面的回复却几乎都没有帮楼主解决问题。于是乎、我觉得我应该把我曾经的解决方案共享出来了，总是潜水确实不太应该。今天就贴一篇我写的代码吧，功能是监控公司所有服务器的IP是否能ping通，如果不通则报警并进行自动恢复。

前提：该脚本适用于IP地址不多的情形，因为本脚本中，有多少IP就会开多少个子进程，所以IP过多容易把机器跑挂，由于我公司IP不多，所以我就直接开了$number个子进程（number==IP的个数）

脚本用到了一个文件：ipsearch，此文件的内容格式如下：

221.222.223.224  ==>  a013

192.168.36.224   ==>  a013

每行一个，格式为 ： IP地址 ==> 主机名

主机名.公司域名==该主机域名

例如：公司域名为chinaunix.net,那么c123.chinaunix.net这台机器的HOSTNAME就是c123

每台机器都有内外两个网卡，内网(eth0)是192.168.36段，外网(eth1)是221.222.223段.

对应的域名是：internal.domain.com和domain.com，内网多了层internal

脚本如下（较线上使用的脚本稍有改动）：

点击(此处)折叠或打开

1. 建议阅读顺序：主循环->ping_ip函数，critical_ip函数，ok_ip函数。（从后往前看）
2. 
   
3. #!/bin/bash
5. ##############################################################################
6. # 日期   : 2011-10-15
7. # 作者   : xiaoxi227
8. # Email : xiaoxi227@163.com
9. # QQ    : 543928910
10. # 脚本功能 ： PING所有正在使用中的IP，判断所ping的IP是否挂掉，如果挂了，则进行自动恢复。
11. # 调用关系 ： 计划任务，每2分钟执行1次。
12. # 其他说明 ： 本脚本需要/bin/ipsearch作为数据来源，所ping的IP全取自于该脚本。
13. ##############################################################################
15. # 重启某台机器时，将其主机名填入下行引号内，可暂时取消对该主机的检测。
16. # Note:引号内不要有空格
18. ignored_host=""
19. 
    
20. # 例如： ignored_host="d016"
21. 
    
22. # 去除忽略主机列表中的空白字符
23. ignored_host=$(echo $ignored_host | sed -r 's/[[:space:]]+//g') 
24. 
    
25. source /etc/rc.d/init.d/corporation_functions  # 公司的函数库，下面用到时我会进行说明
27. function ok_ip()  # 当IP可以ping通时调用此函数
28. {
29. [ $# -ne 3 ] && {
30. echo "Usage: $FUNCNAME " >&2
31. return
32. }
33. local ip=$1
34. local hostname=$2
35. local nic=$3
36. # 如果$downfile存在说明改IP已挂，现在是从故障状态恢复。
37. [ -f $downfile ] && {
38.         # 读取该IP挂掉时的时间
39. downtime=$(date +%s --date="$(head -1 $downfile)")
40. current_time=$(date +%s)
41. time_interval=$(($current_time-$downtime))
42. msg="Recovery:${hostname}:${nic}($ip) is up.Total down time:$time_interval seconds"
43. send_msg "$msg"
44. send_msn_msg "$msg"
45. rm -f $downfile
46. }
47. # downfile不存在说明该IP正常，什么也不用做。
48. }
50. function critical_ip()
51. {
52. [ $# -ne 3 ] && {
53. echo "Usage: $FUNCNAME " >&2
54. return
55. }
56. local ip=$1
57. local hostname=$2
58. local nic=$3
59. local nic_to_ssh="domain.com" # ssh已实现无密码登录
60.   
61. # downfile文件的格式：第一行：IP挂掉的时间。第二行：还可以发送报警的次数
62.  
63. # 如果该IP挂了，则发送报警信息，但是最多只发送10次，避免信息风暴。
64. # 实现方式是：每次发送一条报警信息读将计数器减一，计数器为0后就不再发送
65. if [ -f $downfile ];then
66. downtime=$(date +%s --date="$(head -1 $downfile)")
67. send_msg_times=$((sed -ne '2p' $downfile))
68. sed -i "2c$(($send_msg_times-1))" $downfile
69. else
70. downtime="$datetime"
71. send_msg_times=10
72. echo -e "${downtime}\n$send_msg_times" >> $downfile
73. fi
75. if [ $send_msg_times -gt 0 ];then
76. msg="警告:${hostname}:${nic}($ip) is down at 【${downtime}】。"
77. msg="$msg 丢包率100%，正在尝试自动恢复。"
78. [ x"$nic" = x"eth1" ] && nic_to_ssh="internal.domain.com"
79. # 一个网卡挂了，测试另一个是否也挂了
80. lost_rate=`ping -c 8 -w 8 ${hostname}.${nic_to_ssh} \
81. | grep 'packet loss' \
82. | awk -F'packet loss' '{ print $1 }' \
83. | awk '{ print $NF }' \
84. | sed 's/%//g'` # ping 8次
85.  
86. # 如果另一个网卡丢包不是100%说明没挂，那么ssh过去重启挂掉的网卡
87. if [ $lost_rate -ne 100 ];then
88. ssh ${hostname}.${nic_to_ssh} -- ifdown $nic
89. ssh ${hostname}.${nic_to_ssh} -- ifup $nic
90. else
91. msg="警告、紧急警告：亲、${hostname}内外网卡全挂，请马上查看"
92. send_msg "$msg"
93. send_msn_msg "$msg"
94. fi
95. fi
96. }
98. function ping_ip()
99. {
100. # 函数功能：判断ping指定的IP是否丢包。
101. #          若不丢包、调用OK函数处理；
102.         #          若丢包100%，说明IP已挂掉，此时调用critical函数处理。
103. #          否则直接发送一个通知，告知Op刚才ping丢包，但是网卡没挂，需要注意。
104. if [ $# -ne 1 ];then
105. echo "Usage: $FUNCNAME " >&2
106. return
107. else
108. local ip=$1
109. fi
110. # 判断当前检测的IP是内网(eth0)IP还是外网(eth1)IP？
111. echo $ip | grep -q '192.168.36.'
112. if [ $? -eq 0 ];then
113. nic='eth0'
114. else
115. nic='eth1'
116. fi
117. hostname=$(grep $ip /bin/ipsearch | awk '{ print $3 }') # 获取该IP对应的主机名
118. 
     
119. # 如果在忽略列表里什么也不干直接返回。
120. if [ x"$hostname" = x"$ignored_host" ];then continue;fi 
122. # ping 8次
123. lost_rate=`ping -c 8 -w 8 $ip | grep 'packet loss' \
124. | awk -F'packet loss' '{ print $1 }' \
125. | awk '{ print $NF }' | sed 's/%//g'`
126. 
     
127. if [ $lost_rate -eq 0 ];then
128. ok_ip $ip $hostname $nic
129. elif [ $lost_rate -lt 100 ];then
130. msg="提醒:${hostname}:${nic}($ip)网络状况不佳."
131. msg="$msg Ping at 【$datetime】丢包率${$lost_rate}%，"
132. msg="$msg 此状态下程序不会重启网卡，请留意网络状况。"
133. send_msg "$msg"
134. send_msn_msg "$msg"
135. # $datetime是当前时间，send_msg和send_msn_msg是发送短信和msn消息的函数
136. else
137. critical_ip $ip $hostname $nic
138. fi
139. }
140.  
141.  
142. #############################################################################
143. # 前面都是函数，主进程从下面开始
144. # 从/bin/ipsearch这个文件里拿出所有要监控的IP地址
145. for ip in `grep "==>" /bin/ipsearch | grep -v null | awk '/==>/{ print $1 }'`
146. do
147.         # 有多少个IP就在后台开多少子进程，并行检测，如果IP过多，请勿这样操作，以免把机器跑挂。
148. (
149. # 如果该IP挂了，会把跟这个IP有关的一些信息记录到$downfile这个文件里
150. export downfile=/tmp/${ip}.down.yangmingzhi.do.not.delete.tmp
151. # 调用ping ip的函数，检测当前IP是否能ping通。
152. ping_ip $ip
153. )&
154. done

以上脚本适用于IP不多的情形，如果IP很多，可按如下方式编写：

点击(此处)折叠或打开

1. declare -i count=0
2. for ip in `grep "==>" /bin/ipsearch | grep -v null | awk '/==>/{ print $1 }'`
3. do
4. count=count+1
5. export downfile=/tmp/${ip}.down.yangmingzhi.do.not.delete.tmp
6. ping_ip $ip
7. remainder=$(($count%100))
8. if [ $remainder -eq 0 ];then
9. wait
10. fi
11. done

这样每当程序开启100个子进程后都会挂起，直至这100个子进程都执行完毕，之后才会开启下100个子进程。当然也可以每开起一个新子进程之前都检测一下当前进程的个数，如果没到100个就继续开新进程，否则sleep一段时间或者wait一下都可以。解决方案有很多，总有一个会适合你的情形。以上所列就是适用于本人所在公司的监控脚本。希望对有同样需求的同学们有所帮助。