linux 脚本详解,shell脚本分析日志

需求

临时接到一个需求，需要帮忙check一下线上新老用户区分是否正确。

新老用户确认的方法：

老用户(注册4天以外)， 新用户(注册4天以内)

也就是说，需要check日志中请求的时间点和注册的时间戳，相差是不是超过4天或者小于4天

日志大致如下：

2018-12-28/15:30:57 [strategy.go::xxxx.com/xxx/xxx/xxx.(*Strategy).FindStrategy] [INF] 222222222222222222:new_user_xxx_xxx_xxx, a97774397e994a4d, {"uid":"72666259","device_code":"A000007527957C","page":1,"count":3},1545982248

改掉了一些日志中的敏感信息

思路

利用grep 筛选 new_user/old_user，并将这一行日志，重定向到新的文件中

读取文件，分别提取前面的请求时间，并转化为时间戳，与这一行日志最后的时间戳对比

所以有了大致结构：

1.利用grep awk 缩小日志

2.> 将日志重定向到文本文件中

3.利用while 循环读取文件

4.字符串截取前面的时间，并转换为时间戳

5.字符串截取最后的时间戳

6.对比两个时间戳的间隔时间

脚本解析

按照上面的思路，最终脚本如下：

grep new_user /logs/engine_info.log |awk -F',' '{print $1,$3}' >new_user.txt

sleep 1

while read line;

do

a=${line:0:19}

#注册时间戳

timestamp=${line:0-10}

#请求时间戳

actualtime=${a/\// }

time=`date -d "$actualtime" +%s`

a=$((timestamp+345600))

#[ $time -gt $a ];echo $?

if [ $time -gt $a ];

then

echo "error"

echo $line

fi;

done

第一行，结合grep和awk、重定向，将日志输出到new_user.txt中

读取文件

a=${line:0:19}

这边是截取前面19个字符，即

2018-12-28/15:30:57

由于这个格式无法转换为时间戳，所以还需要将中间的 / 替换为空格

actualtime=${a/\// } ----结果 2018-12-28 15:30:57

然后转换为时间戳

date -d "$actualtime" +%s ------结果 1545961368

注册时间戳是日志的最后10位，再次进行截取

timestamp=${line:0-10} ----结果是1545982248

下面只对比二者之间的差距，以新用户为例，是期望注册时间是4天以内的，即时间戳相差 345600

期望请求的时间戳，比注册时间+345600 的结果要小，如果请求的时间戳比它大，那么就是错误的情况，最终逻辑如下：

a=$((timestamp+345600))

if [ $time -gt $a ];

then

echo "error"

echo $line

fi;

done

以上，所有为一次简单的日志分析实践。