shell脚本实例【持续更新】

最新推荐文章于 2022-10-20 00:32:16 发布

weixin_34341229

最新推荐文章于 2022-10-20 00:32:16 发布

阅读量282

点赞数

文章标签： shell 操作系统 awk

原文链接：https://my.oschina.net/u/3804357/blog/1921157

版权

2019独角兽企业重金招聘Python工程师标准>>>

本文会不断累积日常工作中可能涉及到的shell脚本实例，持续更新。

1.文件以日期命名，并写入磁盘使用情况

shell脚本001.sh

#!/bin/bash 
d=`date +Y-m-d`    ##获取日期
logfile=$d.log     ##定义日志文件名
df -h > $logfile   ##向文件写入磁盘使用情况

2.统计日志文件中各个IP的访问量

日志文件1.txt

123 -sdfjukhesdjkfghjkldf 
456 -jsdigkhndjfgjd 
789 -dsfjkdhfjkhsdjkfhsjk 
123 -sdfhfjkhsjklaj 
789 -jfgduhdjkfghjkdf 
123 -dhsfgjkhsdjkghjkdf

shell脚本002.sh

#!/bin/bash
##取文件IP|排序|去重并统计各个IP重复数量|排序
awk '{print $1}' 1.txt |sort -n |uniq -c |sort-n

3.计算Linux系统所有进程占用内存之和

#!/bin/bash
sum=0
#利用for循环调取每一项进程所使用的内存，并依次求和
for mem in `ps aux |awk '{print $6}' |grep -v 'RSS'`
do
sum=$[$sum+$mem] ##内存求和
done
echo "the usered mem $sum"  ##输出结果

4.监控远程机器的存活，发现宕机示警

#!/bin/bash
#假设远程机器IP为114.114.114.114
ip=114.114.114.114
while循环做循环监控，"while ："为死循环
while :
do
#使用ping命令，取丢包率的数值作为存活的判断依据
n=`ping -c2 $ip 2> /dev/null |grep 'received' |awk -F 'received, |%' '{print $2}'`
n1=`echo $n |sed 's/[0-9]//g'`
#判断取值是否为空
   if [ -z "$n" ]
   then
       echo "error"
       exit
#判断取值是否为数字
   elif [ -n "$n1" ]
   then
       echo "error"
       exit
#若丢包率不低于20%，则发送告警
   elif [ $n -ge 20 ]
   then
   #这里也可做外发邮件告警，详见[邮件告警](https://my.oschina.net/u/3804357/blog/1844730 "邮件告警")
       echo "more loss"
   else
       echo "OK"
   fi
#监控间隔为30秒
sleep 30
done

5.批量修改指定目录下文件名、打包并还原文件名

#!/bin/bash
#将目标文件夹下的所有指定类型文件的文件名查找存在指定文件中
find /123/ -type f -name "*.txt" > /123/txt.list
#通过for循环遍历所有文件，并依次改名
for f in `cat /123/txt.list`
do
  mv $f $f.bak
done
定义一个时间命名的目录作为打包文件的目录
d=`date +%F`
mkdir /123/123_$d
#将所有改名文件依次拷贝到打包文件的目录下
for f in `cat /123/txt.list`
do
  cp $f.bak /123/123_$d/
done
#进入指定目录下进行打包
cd /123/
tar -zcvf 123.tar.gz 123_$d
#还原文件名
for f in `cat /123/txt.list`
do
  mv $f.bak $f
done

注：虽然打包的文件多了一层文件名，但是对于还原文件名变得十分容易

6.判断本机80端口是否监听（假设服务为httpd），如果不存在，则重启服务并发送邮件告警

#!/bin/bash
#判断本机80端口是否监听，并执行相应动作（使用命令行作为判断条件时，命令行正确执行即满足if条件，且用于判定的命令行不需要加反引号）
if netstat -lntp |grep -q ':80 '
  then
      exit
  else
       #这里也可做外发邮件告警，详见[邮件告警](https://my.oschina.net/u/3804357/blog/1844730 "邮件告警")
      echo "error"
      /usr/local/apache2/bin/apachectl restart
fi
#判断是否启动成功，如未成功，则将错误信息通过邮件进行告警
n=`pgrep -l httpd |wc -l`#列出所有httpd进程的pid
if [ $n -eq 0 ]
  then
      touch /tmp/apache_start.err
      /usr/local/apache2/bin/apachectl start 2> /tmp/apache_start.err
fi
if [ -s apache_start.err ] #if -s 选项，文件大小非0时为真
   then
    #这里也可做外发邮件告警，详见[邮件告警](https://my.oschina.net/u/3804357/blog/1844730 "邮件告警")
fi

注：持续监控可以采用任务计划或while循环

7.多地备份数据库（本地保留一周、远程保留一月）

#!/bin/bash
d1=date +%w
d2=date +%d
bakdir=‘指定的本地备份目录’
r_bakdir=‘远程备份的IP地址’:‘远程备份的目录’  #通过ssh同步
rs_bakdir=‘远程备份的IP地址’::‘模块名称’     #通过服务同步
#定义接下来的命令涉及到的所有的正确输出记录在正确日志的目录下，所有的错误输出记录在错误日志的目录下
exec 1> ‘正确日志的目录’ 2>‘错误日志的目录’
echo "mysql backup begin at `date +"%F %T"`"
#备份到本地机器的文件以星期命名，周期为7天，超出7天后，同名的旧文件会被新文件覆盖
mysqldump -u’指定的用户‘ -p‘指定的密码’ ’指定的数据库‘ > $bakdir/$d1.sql
#备份到远程机器的文件以日期命名，周期为31天，超出31天后，同名的旧文件会被新文件覆盖
rsync -az $bakdir/$d1.sql $r_bakdir/$d2.sql
echo "mysql backup end at `date +"%F %T"`"

8.监测Nginx访问日志502情况，并做相应动作

服务器环境为lnmp，近期访问经常出现502现象，且502错误在重启php-fpm服务后消失，因此需要编写监控脚本，一旦出现502，则自动重启php-fpm服务

假设环境：
1.访问日志文件的路径：/data/log/access.log
2.脚本死循环，每10秒检测一次，10秒的日志条数为300条，出现502的比例不低于10%（30条）则需要重启php-fpm服务
3.重启命令为：/etc/init.d/php-fpm restart

#!/bin/bash
log=/data/log/access.log
N=30  #设定阈值
while :
do
    #查看访问日志的最新300条，并统计502的次数
	err=`tail -n 300 $log |grep -c '502" '`
    if [ $err -ge $N ]
      then
          /etc/init.d/php-fpm restart 2> /dev/null
      #设定60s延迟防止脚本bug导致无限重启php-fpm服务
	  sleep 60
    fi
    sleep 10
done

9.把一个文档前五行中包含字母的行删掉，同时删除6到10行包含的所有字母

#!/bin/bsah
#文件名为2.txt
sed -n '1,5'p 2.txt |sed '/[a-zA-Z]/'d
sed -n '6,10'p 2.txt |sed s'/[a-zA-Z]//'g
sed -n '11,$'p 2.txt
#最终结果只是在屏幕上打印结果，如果想直接更改文件，可将输出结果写入临时文件中，再替换2.txt或者使用-i选项

10.用shell打印示例语句中字母数小于6的单词

示例语句：
Bash also interprets a number of multi-character options.
#!/bin/bash
for s in Bash also interprets a number of multi-character options.
do
  n=`echo $s|wc -c`
  if [ $n -lt 6 ]
    then
        echo $s
  fi
done

11.输入数字运行相应命令

#!/bin/bash
echo "*cmd menu** 1-date 2-ls 3-who 4-pwd"
while :
do
#捕获用户键入值
  read -p "please input number :" n
  n1=`echo $n|sed s'/[0-9]//'g`
#空输入检测  
  if [ -z "$n" ]
    then
      continue
  fi
#非数字输入检测  
  if [ -n "$n1" ]
    then
      continue
  fi
  break
done
case $n in
    1)
      date
    ;;
    2)
      ls
    ;;
    3)
      who
    ;;
    4)
      pwd
    ;;
	#输入数字非1-4的提示
    *)
      echo "please input number is [1-4]"
esac

12.创建10个用户，并分别设置密码，密码要求10位且包含大小写字母以及数字，最后需要把每个用户的密码存在指定文件中

#!/bin/bash
#生成10个用户的序列（00-09）
for u in `seq -w 0 09`
do
  #创建用户
  useradd user_$u
  #生成密码
  p=`mkpasswd -s 0 -l 10`
  #从标准输入中读取密码进行修改（不安全）
  echo $p|passwd --stdin user_$u
  #常规修改密码
  echo -e "$p\n$p"|passwd user_$u
  #将创建的用户及对应的密码记录到日志文件中
  echo "user_$u $p" >> /tmp/userpassword
done

13.监控httpd的进程数，根据监控情况做相应处理

详细需求：
1.每隔10s监控httpd的进程数，若进程数大于等于500，则自动重启Apache服务，并检测服务是否重启成功
2.若未成功则需要再次启动，若重启5次依旧没有成功，则向管理员发送告警邮件，并退出检测
3.如果启动成功，则等待1分钟后再次检测httpd进程数，若进程数正常，则恢复正常检测（10s一次），否则放弃重启并向管理员发送告警邮件，并退出检测

#!/bin/bash
#计数器函数
check_service()
{
  j=0
  for i in `seq 1 5` 
  do
  #重启Apache的命令
    /usr/local/apache2/bin/apachectl restart 2> /var/log/httpderr.log
	#判断服务是否重启成功
    if [ $? -eq 0 ]
      then
          break
      else
          j=$[$j+1]
    fi
	#判断服务是否已尝试重启5次
    if [ $j -eq 5 ]
      then
          mail.py
          exit
    fi
  done   
}
while :
do
  n=`pgrep -l httpd|wc -l`
  #判断httpd服务进程数是否超过500
  if [ $n -gt 500 ]
    then
        /usr/local/apache2/bin/apachectl restart
        if [ $? -ne 0 ]
          then
              check_service
          else
              sleep 60
              n2=`pgrep -l httpd|wc -l`
              #判断重启后是否依旧超过500
			  if [ $n2 -gt 500 ]
                then 
                    mail.py
                    exit
              fi
        fi
  fi
  #每隔10s检测一次
  sleep 10
done

14.根据web访问日志，封禁请求量异常的IP，如IP在半小时后恢复正常，则解除封禁

#!/bin/bash
logfile=/data/log/access.log
#显示一分钟前的小时和分钟
d1=`date -d "-1 minute" +%H%M`
d2=`date +%M`
ipt=/sbin/iptables
ips=/tmp/ips.txt
block()
{
  #将一分钟前的日志全部过滤出来并提取IP以及统计访问次数
  grep '$d1:' $logfile|awk '{print $1}'|sort -n|uniq -c|sort -n > $ips
  #利用for循环将次数超过100的IP依次遍历出来并予以封禁
  for i in `awk '$1>100 {print $2}' $ips`
  do
    $ipt -I INPUT -p tcp --dport 80 -s $i -j REJECT
    echo "`date +%F-%T` $i" >> /tmp/badip.log
  done
}
unblock()
{
 #将封禁后所产生的pkts数量小于10的IP依次遍历予以解封
 for a in `$ipt -nvL INPUT --line-numbers |grep '0.0.0.0/0'|awk '$2<10 {print $1}'|sort -nr`
 do 
   $ipt -D INPUT $a
 done
 $ipt -Z
}
当时间在00分以及30分时执行解封函数
if [ $d2 -eq "00" ] || [ $d2 -eq "30" ]
  then
      #要先解再封，因为刚刚封禁时产生的pkts数量很少
      unblock
      block
  else
      block
fi

15.观察下列数字，输出包含前6个数字在内的16个数字

示例：
10 31 53 77 105 141
数字的规律在于两个数字的差值的差值是2的幂次方

#!/bin/bash
a=10
b=21
echo $a
for i in `seq 0 13`
do
    #2的$i次幂
	c=$[2**$i]
    a=$[$a+$b]
    b=$[$b+$c]
    echo $a
done
a=$[$a+$b]
echo $a

16.查看Linux系统中是否存在自定义用户，并统计自定义用户数量

#!/bin/bash
#截取/etc/passwd文件中第三段的数字，大于1000者即为自定义用户
n=`awk -F ':' '$3>1000' /etc/passwd|wc -l`
if [ $n -gt 0 ]
  then
      echo "there are $n custom users"
  else
      echo "no custom user"
fi

17.监控磁盘分区以及inode使用率并告警

监控所有磁盘分区以及inode使用率，当某个分区容量或inode使用量大于85%时，发送邮件告警

#!/bin/bash
#将系统语言设置为英文，如果是中文则会产生bug
LANG=en
log=/tmp/`date +%F.log`
tag1=0
tag2=0
df -h >> $log
df -i >> $log
#遍历各个磁盘利用率的数值
for h in `df -h|grep -v 'Use'|awk -F ' +|%''{print $5}'`
do
  if [ $h -gt 85 ]
    then 
        $tag1=1
  fi
done
#遍历各个磁盘inode的数值
for i in `df -i|grep -v 'Use'|awk -F ' +|%''{print $5}'`
do
  if [ $i -gt 85 ]
    then
        $tag2=1
  fi
done
#磁盘空间以及inode都没有问题，tag=0
if [ $tag1 -eq 0 ] && [ $tag2 -eq 0 ]
  then 
      tag=0
fi
#磁盘空间有问题，inode没有问题，tag=1
if [ $tag1 -eq 1 ] && [ $tag2 -eq 0 ]
  then
      tag=1
fi
#磁盘空间没有问题，inode有问题，tag=2
if [ $tag1 -eq 0 ] && [ $tag2 -eq 1 ]
  then
      tag=2
fi
#磁盘空间以及inode都有问题，tag=3
if [ $tag1 -eq 1 ] && [ $tag2 -eq 1 ]
  then
      tag=3
fi
#根据不同的tag数值，最终输出不同的结果
case $tag in
    0)
      echo "no problem."
      ##mail.py
    ;;
    1)
      echo "disk space is not enough."
      ##mail.py       
    ;;
    2)
      echo "disk inode is not enough."
      ##mail.py
    ;;
    3)
      echo "disk space and disk inode are not enough."
      ##mail.py
    ;;
esac

18.监测目标目录的文件生成情况

用脚本每隔5分钟监测目标目录是否有新文件生成，若有新文件生成，则将新文件的列表输出到一个按年、月、日、时、分为名字的日志里

#!/bin/bash
logfile=/data/web/`date -d "-5 min" +%Y-%m-%d-%H-%M`.log
basedir=/data/web/attachment
#查找修改时间少于5分钟的文件，并将列表记录在临时文件中
find $basedir/ -type f -mmin -5 > /tmp/test.txt
n=`wc -l /tmp/test.txt`
if [ $n -gt 0 ]
  then 
      mv /tmp/test.txt $logfile
fi

19.查看常用命令，并列出TOP10

#!/bin/bash
#对历史命令排序|查重|倒叙排列|取前10行
sort /root/.bash_history|uniq -c|sort -nr|head

20.定时清空文件内容，定时记录文件大小

每小时执行一次脚本（任务计划），当时间为0点或12点时，将目标目录下的所有文件内容清空，但不删除文件，其他时间则只统计各个文件的打小，一个文件一行，输出到以时间和日期命名的文件中，需要考虑目标目录下二级、三级等子目录的文件

#!/bin/bash
logfile=/tmp/`date +%H-%F`.log
n=`date +%H`
if [ $n -eq 00 ] || [ $n -eq 12 ]
  then
      #通过for循环，以find命令作为遍历条件，将目标目录下的所有文件进行遍历并做相应操作
      for i in `find /data/log/ -type f`
      do
        true > $i
      done
  else
      for i in `find /data/log/ -type f`
      do
        du -sh $i >> $logfile
      done
fi

21.计算文档每行出现的数字个数，并计算整个文档的数字总数

#!/bin/bash
#wc -l选项直接接文档名称会将文档行数以及文档名称都进行输出，因此需要使用awk只输出文档行数（截取第一段）
n=`wc -l a.txt|awk '{print $1}'`
sum=0
#文档中每一行可能存在空格，因此不能直接用文档内容进行遍历
for i in `seq 1 $n`
do
  #输出的行用变量表示时，需要用双引号
  line=`sed -n "$i"p a.txt`
  #wc -L选项，统计最长行的长度
  n_n=`echo $line|sed s'/[^0-9]//'g|wc -L`
  echo $n_n
  sum=$[$sum+$n_n]
done
  echo "sum:$sum"

22.检测两台服务器指定目录下的文件一致性

#!/bin/bash
#通过对比两台服务器上文件的md5值，达到检测一致性的目的
dir=/data/web
b_ip=192.168.88.10
#将指定目录下的文件全部遍历出来并作为md5sum命令的参数，进而得到所有文件的md5值，并写入到指定文件中
find $dir -type f|xargs md5sum > /tmp/md5_a.txt
ssh $b_ip "find $dir -type f|xargs md5sum > /tmp/md5_b.txt"
scp $b_ip:/tmp/md5_b.txt /tmp
#将文件名作为遍历对象进行一一比对
for f in `awk '{print 2} /tmp/md5_a.txt'`
do
  #以a机器为标准，当b机器不存在遍历对象中的文件时直接输出不存在的结果
  if grep -qw "$f" /tmp/md5_b.txt
    then
        md5_a=`grep -w "$f" /tmp/md5_a.txt|awk '{print 1}'`
        md5_b=`grep -w "$f" /tmp/md5_b.txt|awk '{print 1}'`
        #当文件存在时，如果md5值不一致则输出文件改变的结果
		if [ $md5_a != $md5_b ]
          then
                echo "$f changed."
        fi
    else
        echo "$f deleted."
  fi
done

23.检测网卡流量，并按规定格式记录在日志中

规定一分钟记录一次
日志格式如下所示:
2018-08-12 23:40
ens33 input: 1234bps
ens33 output: 1235bps
##################
2018-08-12 23:41
ens33 input: 1234bps
ens33 output: 1235bps

代码如下：
#!/bin/bash
while :
do
   设置语言为英文，保障输出结果是英文，否则会出现bug
   LANG=en
   logfile=/tmp/`date +%d`.log
   将下面执行的命令结果输出重定向到logfile日志中
   exec >> $logfile
   date +"%F %H:%M"
   #sar命令统计的流量单位为kb/s，日志格式为bps，因此要*1000*8
   sar -n DEV 1 59|grep Average|grep ens33|awk '{print $2,"\t","input:","\t",$5*1000*8,"bps","\n",$2,"\t","output:","\t",$6*1000*8,"bps"}'
   echo "####################"
#因为执行sar命令需要59秒，因此不需要sleep
done

24.杀死所有脚本

有一些脚本加入到了cron之中，存在脚本尚未运行完毕又有新任务需要执行的情况，导致系统负载升高，因此可通过编写脚本，筛选出影响负载的进程一次性全部杀死。

#!/bin/bash
ps aux|grep 指定进程名|grep -v grep|awk '{print $2}'|xargs kill

25.检测服务器是否开启web服务（监听80），并判断服务种类

#!/bin/bash
#捕获监听80端口的服务名称
netstat -lntp|grep ":80"|awk -F '/' '{print $2}'|sort|uniq > /tmp/80.log
n=`wc -l /tmp/80.log|awk '{print $1}'`
s1=`cat /tmp/80.log`
#判断服务种类函数
judge_server()
{
case $1 in
    httpd)
        echo "this server is apache"
	;;
    nginx)
	echo "this server is nginx"
	;;
    *)
	echo "this server is other"
	;;
esac
}
if [ $n -eq 0 ]
   then
	echo "no web server!"
        exit 
fi
if [ $n -eq 1 ]
   then
	judge_server $s1
   else
	echo "there are $n web servers"
	for web in `cat /tmp/80.log`
	judge_server $web
fi

26.检测MySQL服务是否正常，判断是主库还是从库，如是从库判断主从服务是否正常

#!/bin/bash
mysqlcmd="mysql -uroot -p123456"
#判断MySQL服务是否正常（正确执行MySQL命令）
$mysqlcmd -e "show processlist"
if [ $? -gt 0 ]
   then
        echo "this mysql is wrong."
   else
   		#如果是从库则有返回值
        $mysqlcmd -e "show slave status\G" > /tmp/sql.log
        n=`wc -l /tmp/sql.log|awk '{print $1}'`

   if [ $n -gt 0 ]
        then
                y1=`grep 'Slave_IO_Running:' /tmp/sql.log`|awk -F ':' '{print $2}'|sed 's/ //g'`
                y2=`grep 'Slave_SQL_Running:' /tmp/sql.log`|awk -F ':' '{print $2}'|sed 's/ //g'`

                   if [ $y1 == "yes" ] && [ $y2 == "yes" ]
                      then
                          echo "the slave is ok"
                      else
                          echo "the slave is wrong" 
                   fi
   fi
fi

27. 28.计算100以内所有能被3整除的正整数的和

cat 028.sh
#!/bin/bash
sum=0
for i in {1..100}
do
  #求余数
  n=$[$i%3]
  if [ $n -eq 0 ]
     then
	  sum=$[$sum+$i]
  fi
done
echo "sum:$sum"

转载于:https://my.oschina.net/u/3804357/blog/1921157

weixin_34341229

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
shell脚本实例【持续更新】

2019独角兽企业重金招聘Python工程师标准>>> ...
复制链接

扫一扫