【使用python脚本筛分重复日志】

使用python脚本筛分重复日志

需求：业务涉及企微回调，近期发现重复回调攀升，所以从日志分析一下重复比例
思路：
1、根据关键词筛选命中日志到新文件中
2、使用python脚本筛选出重复key，结果集打印到新文件

环境准备

1. 安装Anaconda下载地址
2. 配置环境变量
   
3. 验证
   

实战

1. 拆分日志

#筛选日志（三台ims，4.13号一天）
zgrep "**客户回调信息" server-2022-04-13-* | grep "add_external_contact" -> add_callback_4.13.log
#将日志拉取到本地环境
scp /home/xxx/ims/logs/all/add_callback_4.13.log root@xxx.xxx.xxx.xxx:/home/logdev/add_callback_1.log
#日志合并
cat add_callback_1.log >> add_callback_result.log
cat add_callback_2.log >> add_callback_result.log
cat add_callback_3.log >> add_callback_result.log

2. 编写py文件add_callback_1.0.py

import json
import sys

filepath=sys.argv[1]
list = []
total = 0
count = 0
count2 = 0
temp={
   }
temp2={
   }
result={
   }
result2={
   }
resultStr=''


def dataClear(s):
	global count,total,count2
	to