使用python脚本筛分重复日志
需求:业务涉及企微回调,近期发现重复回调攀升,所以从日志分析一下重复比例
思路:
1、根据关键词筛选命中日志到新文件中
2、使用python脚本筛选出重复key,结果集打印到新文件
环境准备
- 安装Anaconda下载地址
- 配置环境变量
- 验证
实战
- 拆分日志
#筛选日志(三台ims,4.13号一天)
zgrep "**客户回调信息" server-2022-04-13-* | grep "add_external_contact" -> add_callback_4.13.log
#将日志拉取到本地环境
scp /home/xxx/ims/logs/all/add_callback_4.13.log root@xxx.xxx.xxx.xxx:/home/logdev/add_callback_1.log
#日志合并
cat add_callback_1.log >> add_callback_result.log
cat add_callback_2.log >> add_callback_result.log
cat add_callback_3.log >> add_callback_result.log
- 编写py文件add_callback_1.0.py
import json
import sys
filepath=sys.argv[1]
list = []
total = 0
count = 0
count2 = 0
temp={
}
temp2={
}
result={
}
result2={
}
resultStr=''
def dataClear(s):
global count,total,count2
total = total + 1
#获取回调对象<