第十九章 Shell编程（二）

一、shell中的函数
二、shell中的数组
三、告警系统需求分析
四、告警系统主脚本
五、告警系统配置文件
六、告警系统监控项目
七、告警系统邮件引擎
八、运行告警系统

 

一、shell中的函数

函数就是把一段代码整理到了一个小单元中，并给这个小单元起一个名字，当用到这段代码时直接调用这个小单元的名字即可。定义函数必须要放在最前面。定义好的函数相当于是命令。

语法格式：函数必须放在最前面

//name属性定义了赋予函数的唯一名称。脚本中定义的每个函数都必须有一个唯一的名称。

function name {

commands

}

或者  function可省略

//函数名称后的括号表明正在定义的是一个函数。

name(){

commands

}

调用方式，函数必须在调用之前进行定义。直接像使用命令一样使用函数即可。

案例①：打印函数参数

[root@Linux01 ~]# vim 11.sh

#!/bin/bash
function print_para(){
    echo "The first pamameter is $1"
    echo "The second pamameter is $2"
    echo "The third pamameter is $3"
    echo "The script name  is $0"
    echo "The num pamameter is $#"  
}
print_para 1 2 3               #函数名（写函数名就是调用这个函数），函数的第一个参数，第二个参数。。。；也可以跟$1 $2等，表示shell的第一个、第二个参数作为函数的参数
[root@Linux01 ~]# sh 11.sh
The first pamameter is 1
The second pamameter is 2
The third pamameter is 3
The script name  is 11.sh             //$0就是shell名称
The num pamameter is 3             //$#就是函数参数个数

案例②：求两个数之和的简单脚本

[root@Linux01 ~]# vim 11.sh

#!/bin/bash
function sum() {
    sum=$(($1+$2))
    echo $sum
}
sum $1 $2
[root@Linux01 ~]# sh 11.sh 1 3       //这里后面跟的两个参数就是shell的参数，由函数调用，然后求和
4
案例③：输入网卡名，然后显示该网卡的ip

[root@Linux01 ~]# vim 11.sh

#!/bin/bash
getip() {
        ifconfig $1 | awk -F " " '$1=="inet" {print $2}'
}
read -p "Please enter the eth name: " interface
getip $interface
[root@Linux01 ~]# sh -x 11.sh
+ read -p 'Please enter the eth name: ' interface
Please enter the eth name: ens33
+ getip ens33
+ ifconfig ens33
+ awk -F ' ' '$1 == "inet" {print $2}'
192.168.239.128
更严谨的规范用户输入信息并检查系统中是否存在这个网卡或这个网卡是否存在ip：

参考资料： https://github.com/aminglinux/shell/blob/master/if_ip.txt

二、shell中的数组

数组是一个能保存多个元素的变量，一个元素就是一个值。

1. 定义数组的格式： arr_name=(value1 value2 value3 ...)

调用数组，格式为：${arr_name[@]}

方括号中的 @ 表示所有的元素，也可以用 * 代替 ；调用某一个元素需要使用元素的下标， 下标从0开始，第一个元素下标为0，第二个元素下标为1，依次类推 ； 比如调用第一个元素：${arr_name[0]}

[root@Linux01 ~]# a=(1 2 3 4 5)     #定义数组
[root@Linux01 ~]# echo ${a[@]}    #遍历数组中所有元素
1 2 3 4 5
[root@Linux01 ~]# echo ${#a[@]}  #查看数组中元素个数
5
[root@Linux01 ~]# echo ${a[2]}     #获取数组中的某一个元素
3
[root@Linux01 ~]# a[2]=6              #修改元素值
[root@Linux01 ~]# echo ${a[@]}
1 2 6 4 5
[root@Linux01 ~]# a[5]=10           #修改元素值，但指定的下标不存在时，则会将这个值自动添加到数组的最后
[root@Linux01 ~]# echo ${a[@]}
1 2 6 4 5 10
[root@Linux01 ~]# unset a[5]      #删除数组的某一个元素
[root@Linux01 ~]# echo ${a[@]}
1 2 6 4 5
[root@Linux01 ~]# unset a[@]    #删除整个数组。unset删除数组其实是重新赋值一个空，数组没有删除
[root@Linux01 ~]# echo ${a[@]}

2. 数组的分片

[root@Linux01 ~]# b=(`seq 1 5`)                #定义一个数组
[root@Linux01 ~]# echo ${b[@]}
1 2 3 4 5
[root@Linux01 ~]# echo ${b[@]:1:3}         #从2个元素开始，向后截取3个
2 3 4
[root@Linux01 ~]# echo ${b[@]:0:3}        #从1个元素开始，向后截取3个
1 2 3
[root@Linux01 ~]# echo ${b[@]:0-3:3}     #从倒数第三个开始，向后截取3个
3 4 5

3. 数字替换

[root@Linux01 ~]# echo ${b[@]/4/helloworld}     #把数组中的4改为helloworld，这只是在输出的时候替换，实际的元素没有改变
1 2 3 helloworld 5
[root@Linux01 ~]# echo ${b[@]}
1 2 3 4 5
[root@Linux01 ~]# b=(${b[@]/4/helloworld})       #真实替换数组中的元素，（）不能忘了加
[root@Linux01 ~]# echo ${b[@]}
1 2 3 helloworld 5

 

三、告警系统需求分析

需求：使用shell定制各种个性化告警工具，但需要统一化管理、规范化管理。

思路：指定一个脚本包，包含主程序、子程序、配置文件、邮件引擎、输出日志等。

主程序：作为整个脚本的入口，是整个系统的命脉。

配置文件：是一个控制中心，用它来开关各个子程序，指定各个相关联的日志文件。

子程序：这个才是真正的监控脚本，用来监控各个指标。

邮件引擎：是由一个python程序来实现，它可以定义发邮件的服务器、发邮件人以及发件人密码

输出日志：整个监控系统要有日志输出

要求：我们的机器角色多种多样，但是所有机器上都要部署同样的监控系统，也就说所有机器不管什么角色，整个程序框架都是一致的，不同的地方在于根据不同的角色，定制不同的配置文件

程序架构：

                                            （主目录 mon）
                 ____________________|_______________________________
                |                   |                      |                                |                                  |
               bin              conf            shares                          mail                             log
                |                   |                      |                                |                                  |
           [main.sh] [ mon.conf] [load.sh 502.sh]  [mail.py mail.sh] [  mon.log  err.log ]
 

bin下是主程序

conf下是配置文件

shares下是各个监控脚本

mail下是邮件引擎

log下是日志。

 

四、告警系统主脚本

根据程序架构，创建相应的目录结构、文件

[root@Linux01 ~]# cd /usr/local/sbin
[root@Linux01 sbin]# mkdir -p mon/{bin,conf,shares,mail,log}

[root@Linux01 sbin]# cd /usr/local/sbin/mon
[root@Linux01 mon]# touch ./bin/main.sh ./conf/mon.conf ./shares/{load.sh,502.sh} ./mail/{mail.py,mail.sh} ./log/{mon.log,err.log}
[root@Linux01 mon]# tree
.
├── bin
│   └── main.sh
├── conf
│   └── mon.conf
├── log
│   ├── err.log
│   └── mon.log
├── mail
│   ├── mail.py
│   └── mail.sh
└── shares
    ├── 502.sh
    └── load.sh

5 directories, 8 files
约定：在/usr/local/sbin/ 目录下存放监控脚本，方便查找脚本

在mon/bin下创建主程序脚本main.sh

[root@Linux01 mon]# cd /usr/local/sbin/mon/bin

[root@Linux01 bin]# vim ./main.sh
#!/bin/bash
#export 表示该变量会应用到所有的子脚本中（主脚本所调用的脚本）
#发送邮件的开关
export send=1
#发送邮件机器的ip地址
export addr=`/usr/sbin/ifconfig |grep -A1 "ens33:" |tail -1 |awk '{print $2}'`   #红色是不唯一的，看具体需求
#当前所在的路径
dir=`pwd`
#找出当前路径的最后一个目录
last_dir=`echo $dir |awk -F '/' '{print $NF}'`
#下面的判断目的是，保证执行脚本的时候，我们在bin目录里，不然监控脚本、邮件和日志很有可能找不到
#因为他们使用的是相对路径
if [ $last_dir == "bin" ] || [ $last_dir == "bin/" ]
then
#定义配置文件路径
        conf_file="../conf/mon.conf"
else
        echo "Please cd bin dir"
        exit
fi
#定义正确和错误日志的路径
exec 1>>../log/mon.log 2>>../log/err.log
#把下面内容输入到日志里
echo "`date +"%F %T"` load average"
#调用load.sh脚本来监控系统负载
/bin/bash ../shares/load.sh
#先检查配置文件中是否需要监控502
if grep -q 'to_mon_502=1' $conf_file
then
#定义网站的访问日志路径
    export log=`grep 'logfile=' $conf_file |awk -F '=' '{print $2}' |sed 's/ //g'`
#调用502脚本
    /bin/bash  ../shares/502.sh
fi
 

五、告警系统配置文件

告警系统配置文件mon.conf内容如下

[root@Linux01 mon]# cd /usr/local/sbin/mon/conf

[root@Linux01 conf]# vim mon.conf
## to config the options if to monitor
# 定义mysql的服务器地址、端口以及user、password
to_mon_cdb=0  ##0 or 1, default 0,0 not monitor, 1 monitor
db_ip=192.168.1.128
db_port=3306
db_user=username
db_pass=passwd
## httpd  如果是1则监控，为0不监控
to_mon_httpd=0
## php 如果是1则监控，为0不监控
to_mon_php_socket=0
## http_code_502 需要定义访问日志的路径
to_mon_502=0
logfile=/data/log/xxx.xxx.com/access.log
## request_count  定义日志路径以及域名
to_mon_request_count=0
req_log=/data/log/www.discuz.net/access.log
domainname=www.discuz.net
 

六、告警系统监控项目

①创建load.sh 监控系统负载脚本

[root@Linux01 mon]# cd /usr/local/sbin/mon/shares

[root@Linux01 shares]# vim load.sh

#! /bin/bash
##Writen by aming##

#获取最近一分钟的系统负载
load=`uptime |awk -F 'average:' '{print $2}'|cut -d',' -f1|sed 's/ //g' |cut -d. -f1`

#当系统负载超过10 并且允许发邮件的情况下，发送报警邮件
if [ $load -gt 10 ] && [ $send -eq "1" ]
then
    echo "$addr $(date +%T) load is $load" >../log/load.tmp
    /bin/bash ../mail/mail.sh 1********5@163.com "${addr}_load:$load" $(cat ../log/load.tmp)
fi

#输出脚本运行结果
echo "$(date +%T) load is $load"

②创建502.sh 监控502脚本

[root@Linux01 shares]# vim 502.sh

#! /bin/bash
d=$(date -d "-1 min" +%H:%M)
c_502=$(grep :$d:  $log  |grep ' 502 '|wc -l)
if [ $c_502 -gt 10 ] && [ $send == 1 ]; then
     echo "$addr $d 502 count is $c_502">../log/502.tmp
     /bin/bash ../mail/mail.sh ${addr}_502 $c_502  ../log/502.tmp
fi
echo "$(date +%T) 502 $c_502"
③创建disk.sh 监控磁盘使用率脚本

[root@Linux01 shares]# vim disk.sh

#! /bin/bash
##Writen by aming##
rm -f ../log/disk.tmp
for r in $(df -h |awk -F '[ %]+' '{print $5}'|grep -v Use)
do
    if [ $r -gt 90 ] && [ $send -eq "1" ]
    then
        echo "$addr $(date +%T) disk usage is $r" >>../log/disk.tmp
    fi
done
if [ -f ../log/disk.tmp ]
then
    df -h >>../log/disk.tmp
    /bin/bash ../mail/mail.sh ${addr}_disk $r ../log/disk/disk.tmp
    echo "$(date +%T) disk usage is too high."
else
    echo "$(date +%T) disk usage is ok"
fi
 

七、告警系统邮件引擎

mail.py参考内容在 https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D22Z/mail.py

[root@Linux01 mon]# cd ./mail
[root@Linux01 mail]# vim mail.py

#!/usr/bin/env python
#-*- coding: UTF-8 -*-
import os,sys
reload(sys)
sys.setdefaultencoding('utf8')
import getopt
import smtplib
from email.MIMEText import MIMEText
from email.MIMEMultipart import MIMEMultipart
from  subprocess import *

def sendqqmail(username,password,mailfrom,mailto,subject,content):
    gserver = 'smtp.163.com'
    gport = 25

    try:
        msg = MIMEText(unicode(content).encode('utf-8'))
        # msg = MIMEText(content,'plan','utf-8') 
        msg['from'] = mailfrom
        msg['to'] = mailto
        msg['Reply-To'] = mailfrom
        msg['Subject'] = subject

        smtp = smtplib.SMTP(gserver, gport)
        smtp.set_debuglevel(0)
        smtp.ehlo()
        smtp.login(username,password)

        smtp.sendmail(mailfrom, mailto, msg.as_string())
        smtp.close()
    except Exception,err:
        print "Send mail failed. Error: %s" % err

def main():
    to=sys.argv[1]
    subject=sys.argv[2]
    content=sys.argv[3]
##定义163邮箱的账号和密码，你需要修改成你自己的账号和密码（请不要把真实的用户名和密码放到网上公开，否则你会死的很惨）
    sendqqmail('1*********5@163.com','password','1**********5@163.com',to,subject,content)

if __name__ == "__main__":
    main()
//脚本需要接收三个参数： 收件人，主题，内容

//用法 mail.py 收件人 主题 内容

②创建mail.sh 调用发邮件和邮件收敛的脚本

[root@Linux01 mail]# vim mail.sh

log=$1
t_s=$(date +%s)
t_s2=$(date -d "2 hours ago" +%s)
if [ ! -f /tmp/$log ]
then
    echo $t_s2 > /tmp/$log
fi
t_s2=$(tail -1 /tmp/$log | awk '{print $1}')
echo $t_si >>/tmp/$log
v=$[$t_s-$t_s2]
echo $v
if [ $v -gt 3600 ]
then
    ./mail.py  $1  $2  $3
    echo "0" > /tmp/$log.txt
else
    if [ ! -f /tmp/$log.txt ]
    then
        echo "0" > /tmp/$log.txt
    fi
    nu=$(cat /tmp/$log.txt)
    nu2=$((nu+1))
    echo $nu2 >/tmp/$log.txt
    if [ $nu2 -gt 10 ]
    then
         ./mail.py  $1 "trouble continue 10 min $2" "$3"
         echo "0" > /tmp/$log.txt
    fi
fi
 

//tmp/$log是计时器日志 /tmp/$log.txt是计数器日志

//第一次执行mail.sh t_s是当前时间戳 t_s2是两个小时前的时间戳 判断差值大于3600s 发邮件 并计数器为0

//1分钟后再次执行mail.sh t_s是当前时间戳 t_s2为1分钟前的时间戳判断差值小于3600s 计数器为1

//每分钟都执行mail.sh 到了第11分钟 因为 t_s和t_s2之前的差值都是小于3600s是不会发邮件的 当时 此时计数器为11 大于10 就发一份“问题持续10分//钟”的邮件 并计数器清零

//假如超多一个小时后再此执行mail.sh t_s和t_s2的时间戳 判断差值大于3600s 就会发邮件并会清空原来的计数器

 

八、运行告警系统

为了让系统定时执行main.sh来监控，可使用任务计划

[root@Linux01 ~]# crontab -e

* * * * * cd /usr/local/sbin/mon/bin;bash main.sh

测试：

修改 mail.sh脚本中判断时间的表达式 ：

if [ $v -gt 3600 ] 改为 if [ $v -gt 10]

# 然后进入mon/bin 目录下直接运行主脚本，看看是否可以收到邮件

[root@Linux01 bin]# sh main.sh
2019-01-17 02:55:44 load average
02:55:44 load is 0
（但是没有收到邮件，配置过程可能有问题，需要检查。）