使用awk汇总异常日志关键信息

背景

项目需要做国产化改造，数据库要从Oracle换成信创数据库。
虽然经过了一系列测试，但生产环境的数据库也不可能一次性完全换掉。在初始阶段，实际业务仍然使用Oracle数据库（主库），我们选了一台后端服务器，把信创数据库作为备库，主库同步执行SQL并返回结果，备库异步执行相同的SQL且不返回结果。
在这个阶段，观察备库是否稳定，是否异常。
结果，异常不断……
在汇总异常的时候，用awk写了个脚本辅助统计关键信息。

脚本执行

脚本命名为getSqlEx.sh，执行语句如下：

sh getSqlEx.sh 原日志 输出日志

脚本

#!/usr/bin/env sh

inlog=$1
outlog=$2

echo "[START] get SQLException in ${inlog}"

awk -F '执行sql异常：|操作类型|\\(Proxyid' '$0~/执行sql异常/{print $2}' ${inlog} |sort|uniq -c|sort -n -r > ${outlog}

echo "[END] please view the results in the ${outlog}"

inlog 入参1，原日志文件名（可含路径）；
outlog 入参2，输出日志文件名（可含日志）；

awk参数说明

-F 指定字符串分割文件内容
此处按“执行sql异常：”、“操作类型”或“(Proxyid”进行分割，\\转义时用

awk -F '执行sql异常：|操作类型|\\(Proxyid' 文件名

按字符分割使用[]

awk -F '[abc]' 文件名

$0 获取整行
~/执行sql异常/ 匹配含“执行sql异常”的行
print $2 输出第二项
注：awk未指定分隔符时，默认是空白字符(即空格)

awk '$0~/执行sql异常/{print $2}' 文件名

|sort|uniq -c|sort -n -r 将结果去重，并按数量逆序排序
> 文件名 将结果输出到文件中

另，若可对原文件内容加工处理，可在脚本内加入如下指令，替换部分字符串，方便awk分割、统计等

sed -i 's/原字符串/目标字符串/g' 文件名

参考

Linux —— 利用awk处理异常日志获取关键异常信息