1. 问题背景

近期，RD对软件进行一次接口请求速度优化的更新，必须要在两天内对更新内容进行反馈。首先接到任务，作为测试的我，对基本的接口功能测完后，发现进入到性能测试环境，万行日志怎么看：

常规有如下几种操作：

windows 电脑自带的TXT文本工具：无批量搜索功能
Notepad++/Vscode ：批量搜索，只能统计总数，无法可视化

有没有人遇到这种问题，像头铁的我将Notpad++批量筛选出来的数据，复制到Excel表中，进行字符处理统计,一顿操作，复用性太差了~~~~

果断使用Python，自己写一个脚本帮我自动处理分析log日志，其他时间摸摸鱼岂不是美哉。

脚本需求比较简单，主要分为三部分：
- 日志文件，数量不定数
- 多个字段信息
- 可视化展示数据变化

2. 批量修改log文件名

log日志文件格式是txt格式，且日志文件名是32位的taskID与报告ID组成taskID_reportID 形式如：60ac5624493b11eda5771e56c768036b_31.txt。

由于报告名字是32位数字，不利于我们跟踪那个设备端数据，因此得到报告后需要将报告名改为设备ID(U21041489-0A01245)。

代码实现思路：

1. 将测试报告放入指定的目录下：如E:\screen_log

遍历读取每一份报告，获取deviceiD值列表

遍历获取文件内容，可以调用Python os.listdir获取目录文件名字all_files
使用for循环遍历all_files，上下文管理with打开并读取file内容
使用正则表达式提取到deviceid字段，经过分割、空格去掉，将deviceid添加到res_search列表中，代码示例如下：

def get_filecontext(file_path,search):

    all_files = os.listdir(file_path)
    cp = re.compile("'+"+ search +"'"+":"+".*?"+",")
    res_search = []
    for file in all_files:
        tmp = ""
        with open(file_path+"\"+file,"r", encoding="utf-8") as f:
            lines = f.readlines()
        for line in lines:
            data = re.search(cp,line)
            if data:
                tmp = data.group()
                break
        tmp_split = tmp.replace(",","").split(":")
        if tmp_split[1].strip().strip("'") not in res_search:
            res_search.append(tmp_split[1].strip().strip("'"))
    return res_search

再次遍历每一份报告，按顺序将报告重名为deviceid.txt

同理，继续使用os.listdir()方法加载出所有文件名字all_files
for循环遍历all_files文件,将old_name与new_name传入os.rename进行重命名

def rename_file(file_path,namelist):
    all_files = os.listdir(file_path)
    suffix = ".txt"
    for index,file in enumerate(all_files):
        prefix = namelist[index]
        old_name = file_path + os.sep + file
        new_name = file_path + os.sep + prefix + suffix
        os.rename(old_name,new_name)
    new_files = os.listdir(file_path)
    return new_files

4.文件更改前后对比

get_device = get_filecontext(r"E:\webdownload\test","deviceId")
print(get_device)
new_filename = rename_file(r"E:\webdownload\test",get_device)
print(new_filename)

设备列表和文件报告重名都已经搞定，那么接下对报告内容字段进行提取啦，开启第3节动作~

3. log 关键字提取

对报告内容分析，最常用的方法当然是正则表达。本次，对日志中的报告也是正则查找对应的关键字方法。

举一个例子，对ocr_compare字段耗时时间进行获取，log日志每行形式是这样的

[2022-10-25 17:57:15.354200][结束执行关键字]====ocr_compare()[耗时：0.87s]

那么用正则表达要怎么写呢？

第一步：先在log日志中找指定关键字如对ocr_compare所在的行```
#正则表达式：
ocr_compare+“().*”
第二步：找到耗时关键字后面的时间，都是数字.数字组合```

正则表达式

r"\d.\d{1,2}"

关键字提取搞定，剩余的步骤就是遍历每一份日志所有行，将耗时时间存储到列表中

调用collections.Counter()统计每个时间出现的次数

示例代码如下：

def read_log_report(filename,timetype):
    cp = re.compile(timetype+"().*")
    cp_time = re.compile(r"\d.\d{1,2}")
    Time = []
    with open("E:\webdownload\screen_log\"+ filename, "r", encoding="utf-8") as f:
        lines = f.readlines()
    for line in lines:
        data = re.search(cp, line)
        if data and "耗时" in data.group():
            Time.append(data.group())

    device = [float(re.search(cp_time,t).group()) for t in Time]
    d = collections.Counter(device)
    return device,d

4. log 关键字可视化分析

在之前学过matplotlib-可视化模块，我们将日志中获取整理的数据，通过图表的形式展示，让可以清晰明了地反映出来，完全做到解放双手啦。

首先，我们需要明确一下，常见的图表及作用：

折线图：反映数据在一段时间的趋势
饼图：反映一个维度各项指标占总体的占比情况
散列图：因变量随着自变量而变化的大致趋势
直方图：概率分布，展示一组数据在指定范围内的出现概率

本次，我们需要统计反映出接口处理耗时，那么只需要绘制3种图形即可：

绘制折线图：
- 对第2节中获取到的耗时列表，不用特定处理
- 需要对多个设备的数据绘制，因此需要使用for循环遍历
- 折线图中，绘制一条平均线，可以看到数据每时刻的变化
绘制饼图：
- 需要指出需要关注几个区间：比如0.1_0.5,0.50.6等
- 遍历key-vaule字典，在指定区间的次数
绘制散点图：
- 将收集到耗时时间点，使用Counter统计出每个时间的次数