运维常用的几个小脚本

在公众号里看到的，想了下觉得很有用，就在这边备份一份吧。指不定哪天就用到了
还没进行验证，后面用的时候验证。

1.检测两台服务器指定目录下的文件一致性

#!/bin/bash  
######################################  
#检测两台服务器指定目录下的文件一致性  
#####################################  
#通过对比两台服务器上文件的md5值，达到检测一致性的目的  
dir=/data/web  
b_ip=192.168.88.10  
#将指定目录下的文件全部遍历出来并作为md5sum命令的参数，进而得到所有文件的md5值，并写入到指定文件中  
find $dir -type f|xargs md5sum > /tmp/md5_a.txt  
ssh $b_ip "find $dir -type f|xargs md5sum > /tmp/md5_b.txt"  
scp $b_ip:/tmp/md5_b.txt /tmp  
#将文件名作为遍历对象进行一一比对  
for f in `awk '{print 2} /tmp/md5_a.txt'`do  
#以a机器为标准，当b机器不存在遍历对象中的文件时直接输出不存在的结果  
if grep -qw "$f" /tmp/md5_b.txt  
then  
md5_a=`grep -w "$f" /tmp/md5_a.txt|awk '{print 1}'`  
md5_b=`grep -w "$f" /tmp/md5_b.txt|awk '{print 1}'`  
#当文件存在时，如果md5值不一致则输出文件改变的结果  
if [ $md5_a != $md5_b ]then  
echo "$f changed."  
fi  
else  
echo "$f deleted."  
fi  
done  

2.定时清空文件内容，定时记录文件大小

#!/bin/bash  
#################################################################  
#每小时执行一次脚本（任务计划），当时间为0点或12点时，将目标目录下的所有文件内容清空，但不删除文件，其他时间则只统计各个文件的大小，一个文件一行，输出到以时间和日期命名的文件中，需要考虑目标目录下二级、三级等子目录的文件  
################################################################  
logfile=/tmp/`date +%H-%F`.log  
n=`date +%H`  
if [ $n -eq 00 ] || [ $n -eq 12 ]  
then  
#通过for循环，以find命令作为遍历条件，将目标目录下的所有文件进行遍历并做相应操作  
for i in `find /data/log/ -type f`  
do  
true > $i  
done  
else  
for i in `find /data/log/ -type f`  
do  
du -sh $i >> $logfile  
done  
fi  

3.检测网卡流量，并按规定格式记录在日志中

#!/bin/bash  
#######################################################  
#检测网卡流量，并按规定格式记录在日志中#规定一分钟记录一次  
#日志格式如下所示:  
#2019-08-12 20:40  
#ens33 input: 1234bps  
#ens33 output: 1235bps  
######################################################3  
while :  
do  
#设置语言为英文，保障输出结果是英文，否则会出现bug  
LANG=en  
logfile=/tmp/`date +%d`.log  
#将下面执行的命令结果输出重定向到logfile日志中  
exec >> $logfile  
date +"%F %H:%M"  
#sar命令统计的流量单位为kb/s，日志格式为bps，因此要*1000*8  
sar -n DEV 1 59|grep Average|grep ens33|awk '{print $2,"\t","input:","\t",$5*1000*8,"bps","\n",$2,"\t","output:","\t",$6*1000*8,"bps"}'  
echo "####################"  
#因为执行sar命令需要59秒，因此不需要sleep  
done  

4.计算文档每行出现的数字个数，并计算整个文档的数字总数

#!/bin/bash  
#########################################################  
#计算文档每行出现的数字个数，并计算整个文档的数字总数  
########################################################  
#使用awk只输出文档行数（截取第一段）  
n=`wc -l a.txt|awk '{print $1}'`  
sum=0  
#文档中每一行可能存在空格，因此不能直接用文档内容进行遍历  
for i in `seq 1 $n`do  
#输出的行用变量表示时，需要用双引号  
line=`sed -n "$i"p a.txt`#wc -L选项，统计最长行的长度  
n_n=`echo $line|sed s'/[^0-9]//'g|wc -L`  
echo $n_nsum=$[$sum+$n_n]  
done  
echo "sum:$sum"  

杀死所有脚本

#!/bin/bash  
################################################################  
#有一些脚本加入到了cron之中，存在脚本尚未运行完毕又有新任务需要执行的情况，  
#导致系统负载升高，因此可通过编写脚本，筛选出影响负载的进程一次性全部杀死。  
################################################################  
ps aux|grep 指定进程名|grep -v grep|awk '{print $2}'|xargs kill -9  

5.从 FTP 服务器下载文件

#!/bin/bash  
if [ $# -ne 1 ]; then  
    echo "Usage: $0 filename"  
fi  
dir=$(dirname $1)  
file=$(basename $1)  
ftp -n -v << EOF   # -n 自动登录  
open 192.168.1.10  # ftp服务器  
user admin password  
binary   # 设置ftp传输模式为二进制，避免MD5值不同或.tar.gz压缩包格式错误  
cd $dir  
get "$file"  
EOF  

6.监测 Nginx 访问日志 502 情况，并做相应动作

#场景：  
#1.访问日志文件的路径：/data/log/access.log  
#2.脚本死循环，每10秒检测一次，10秒的日志条数为300条，出现502的比例不低于10%（30条）则需要重启php-fpm服务  
#3.重启命令为：/etc/init.d/php-fpm restart  
#!/bin/bash  
###########################################################  
#监测Nginx访问日志502情况，并做相应动作  
###########################################################  
log=/data/log/access.log  
N=30 #设定阈值  
while :do  
 #查看访问日志的最新300条，并统计502的次数  
    err=`tail -n 300 $log |grep -c '502" '`   
if [ $err -ge $N ]   
then  
/etc/init.d/php-fpm restart 2> /dev/null   
#设定60s延迟防止脚本bug导致无限重启php-fpm服务  
     sleep 60  
 fi  
 sleep 10  
 done  

7.批量修改文件名

示例：创建三个文件

touch article_{1..3}.html  
lsarticle_1.html  article_2.html  article_3.html  

把article改为bbs
方法1：

for file in $(ls *html); do  
    mv $file bbs_${file#*_}  
    # mv $file $(echo $file |sed -r 's/.*(_.*)/bbs\1/')  
    # mv $file $(echo $file |echo bbs_$(cut -d_ -f2)  

方法2：

for file in $(find . -maxdepth 1 -name "*html"); do  
     mv $file bbs_${file#*_}done  

方法3：

# rename article bbs *.html  

8.扫描主机端口状态

#!/bin/bash  
HOST=$1  
PORT="22 25 80 8080"  
for PORT in $PORT; do  
    if echo &>/dev/null > /dev/tcp/$HOST/$PORT; then  
        echo "$PORT open"  
    else  
        echo "$PORT close"  
    fi  
done

9.监控 httpd 的进程数，根据监控情况做相应处理

#!/bin/bash  
###############################################################################################################################  
#需求：  
#1.每隔10s监控httpd的进程数，若进程数大于等于500，则自动重启Apache服务，并检测服务是否重启成功  
#2.若未成功则需要再次启动，若重启5次依旧没有成功，则向管理员发送告警邮件，并退出检测  
#3.如果启动成功，则等待1分钟后再次检测httpd进程数，若进程数正常，则恢复正常检测（10s一次），否则放弃重启并向管理员发送告警邮件，并退出检测  
###############################################################################################################################  
#计数器函数  
check_service()  
{  
 j=0  
 for i in `seq 1 5`   
 do  
 #重启Apache的命令  
 /usr/local/apache2/bin/apachectl restart 2> /var/log/httpderr.log      
    #判断服务是否重启成功  
 if [ $? -eq 0 ] then  
 break  
 else  
 j=$[$j+1] fi  
    #判断服务是否已尝试重启5次  
 if [ $j -eq 5 ] then  
 mail.py exit  
 fi  
 done }while :do  
 n=`pgrep -l httpd|wc -l`   
 #判断httpd服务进程数是否超过500  
 if [ $n -gt 500 ] then  
 /usr/local/apache2/bin/apachectl restart   
 if [ $? -ne 0 ]   
 then  
 check_service   
 else  
 sleep 60  
 n2=`pgrep -l httpd|wc -l`   
 #判断重启后是否依旧超过500  
             if [ $n2 -gt 500 ]   
 then   
 mail.py exit  
 fi  
 fi  
 fi  
 #每隔10s检测一次  
 sleep 10done