一道shell 题引发的感想

一、题目如下

./linux_learn/homework中有多个目录，针对每个目录中的两个文件，计算出平均响应时间和（平均1+平均2）排名前5的有效接口，有效接口定义如下：

•包含关键字“xxx”(参数1)或者“yyy”（参数2）；

•平均响应时间>10ms（参数3）;

•接口同时存在两个文件中；

要求：

•每个目录计算出的结果第一行和最后一行用******分割

•只展示服务名称   方法名称  平均响应时间1  平均响应时间2

•参数为关键字和平均响应时间，需校验参数

•可以用sh homework.sh xxx yyy 10 执行

目录为

./dubbo1/dubbo1-1
./dubbo1/dubbo1-2

./dubbo2/dubbo2-1
./dubbo2/dubbo2-2

运行结果如下图

二、分析

日志的内容如下，elapsed[2] 是响应时间是2毫秒：

这个题目是计算处理我们的日志文件计算平均响应时间最高的接口；可以分为以下几步

1.分别处理文件dubbo1-1 和dubbo1-2，找到包含"xxx"或"yyy"的接口，

2.分别求出每个文件、每个接口的平均响应时间，

3.对比聚合文件dubbo1-1 和dubbo1-2，筛选出两个文件都存在的接口，结果如：服务名 方法名 文件1中平均时间 文件2中平均时间

4.在按照平均时间1+平均时间2之和排序，取前5.

脚本如下：

#!/bin/bash

HOME=./
doubb11="$HOME"/dubbo1/dubbo1-1
doubb12="$HOME"/dubbo1/dubbo1-2
doubb21="$HOME"/dubbo2/dubbo2-1
doubb22="$HOME"/dubbo2/dubbo2-2

FILE=file
RESULT=result

# 参数校验
parm_num=$#

if [ "$parm_num" -ne 3 ]; then
	echo "参数必须为3个"
	exit 1
fi

keyword1=$1
keyword2=$2
escape_time=$3

if  [[ ! "$keyword1" =~ ^[a-zA-Z]+$ ]]; then
	echo "第1个参数必须是字母"
	exit 1
fi

if [[ ! "$keyword2" =~ ^[a-zA-Z]+$ ]]; then
	echo "第2个参数必须是字母"
	exit 1
fi

if [[ ! "$escape_time" =~ ^[0-9]+([.]{1}[0-9]+){0,1}$  ]]; then
	echo "第3个参数必须是大于0的数"
	exit 1
fi


file_array=(["0"]="$doubb11" ["1"]="$doubb12" ["2"]="$doubb21" ["3"]="$doubb22")


# 校验处理文件是否在当前目录存在
for  ((i=0;i<${#file_array[@]};i++)); do
if [ ! -f "${file_array[$i]}" ] ; then
	echo "当前文件夹下不存在需要处理的文件"
    exit 1
fi
done

# 求每个目录的平均值
for  ((i=0;i<${#file_array[@]};i++)); do

    doubbo_file=${file_array[$i]}
	cat  $doubbo_file|awk '{print $17 ,$18 ,$12}'| sed 's/:[0-9.]*//g;s/(.*)//g;s/elapsed\[//g;s/\]//g'|awk -F '.' '{print $NF}'|grep -Ei "$keyword1|$keyword2"|sort -k1,1 -k2,2 -k3,3n|uniq -c |awk '{s[$2" "$3] += $4*$1 ; a[$2" "$3] += $1} END {for (i in s) { print i,s[i],a[i]} }'|awk '{print $1,$2,$3/$4}' >"$HOME""$FILE""$i"
done
# 聚合文件，平均1和平均2的时间取前5
echo \********************************************* > "$HOME""$RESULT"

awk 'NR==FNR{a[$1" "$2]=$0}NR>FNR{print a[$1" "$2]" " $3}' "$HOME""$FILE"0 "$HOME""$FILE"1|awk '{ s=$3+$4 } {print $1,$2,$3,$4,s}'|awk '{if ($5 > "'$escape_time'"+0) print $1,$2,$3,$4,$5}'|sort -k5nr|head -5|awk '{print $1,$2,$3,$4}' >>"$HOME""$RESULT"

echo \********************************************* >> "$HOME""$RESULT"

awk 'NR==FNR{a[$1" "$2]=$0}NR>FNR{print a[$1" "$2]" " $3}' "$HOME""$FILE"2 "$HOME""$FILE"3|awk '{ s=$3+$4 } {print $1,$2,$3,$4,s}'|awk '{if ($5 > "'$escape_time'"+0) print $1,$2,$3,$4,$5}'|sort -k5nr|head -5|awk '{print $1,$2,$3,$4}' >>"$HOME""$RESULT"

echo \********************************************* >> "$HOME""$RESULT"
# 输出结果
cat "$HOME""$RESULT"

三、遇到的问题和总结

1.shell 脚本非 ！必须有空格才生效

2.在脚本中传入数字时需要+0 才可以

上面的传参还可以用awk -v 去实现

awk -v n=$escape_time '{if ($5>n) print}'

3.echo * 需要加\*  

四、后记

在写的过程中远不止遇到上面 3个问题，还遇到了很多其他问题，比如定义的数组传参没有传进去，脚本报错等。给大家的建议是调试用sh -x *.sh 参数 可以看到每一步允许的参数，帮助查看问题。然后就是从网上搜索需要的内容，并进行加工整合，只有自己真正的练习才能提高自己的水平。