数据筛选及转成CSV文件,保存后并在Excel文档编辑操作

1 篇文章 0 订阅
1 篇文章 0 订阅
comptest.log file source:

CSV summary:
Algorithm,Test_type,Using_engine_compression,Using_engine_decompression,Deflate_buffering_enabled,Inflate_buffering_enabled,Compression_Level,Chunk_Size,Polling_Interval,Wait_Resp_Type,Stream_type,Window_size,Core_affinity,Elapsed_usec,Cores,Threads,Count,Data_per_test,Mbps,CPU_%,User_%,Kernel_%,Ratio,Context_switches,Cycles
csv,Corpus Compression,1,Yes,Yes,Yes,Yes,1,4096,100000,2,0,5,Yes,125184,1,1,1,3248128,207.57,95,95,0,0.391,69,312959386

Verification: PASS


Verification: PASS


QAT zlib test application
#!/usr/bin/python
# -*- coding: utf-8 -*-

import re
import numpy as np
import pandas as pd

allkey = [
    "Algorithm",
    "Stream_type",
    "Compression_Level",
    "Cores",
    "Threads",
    "Window_size",
    "Chunk_Size",
    "Mbps",
    "CPU_%"
]
list = []
with open('comptest.log') as jrf:
    log_str = jrf.read()
    line1 = re.compile("CSV summary:\n(.*?)Cycles")
    line2 = re.compile("csv,(.*?)\n")
    data = re.findall(line1, log_str)
    data2 = re.findall(line2, log_str)
    key_ls = [data[i:i + 1] for i in range(0, len(data), 1)]
    data_ls = [data2[i:i + 1] for i in range(0, len(data2), 1)]
    for i in data_ls:
        a = i[0].split(",")
        if a[10] == '0':
            b = "raw"
        if a[10] == '1':
            b = "zlib"
        if a[10] == '2':
            b = "gzib"
        if a[14] == '96' and a[15] == '96' and a[11] != '5':
            c = "level" + a[6]
            f = '16Kwin' if a[11] == '6' else '32Kwin'
            g = str(int(a[7]) / 1024) + "K"
            list.append([a[0], b, c, a[14], a[15], f, g, a[18], a[19]])
data = np.array(list)
np.array(data)
save = pd.DataFrame(data, columns=allkey)
save.to_csv('log.csv', index=False, header=True)
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
很抱歉,您可能误打成了"csp",正确的是"csv"模块。以下是使用csv模块建立、读取、写入CSV文件、导入、导出Excel文件以及基本的数据分析的方法。 第一步,使用csv模块创建一个CSV格式的文本文件。我们可以使用`csv.writer()`函数来写入CSV文件,如下所示: ```python import csv # 打开文件,并创建一个csv写入对象 with open('data.csv', 'w', newline='') as file: writer = csv.writer(file) # 写入表头 writer.writerow(['Name', 'Age', 'City']) # 写入数据 writer.writerow(['John', 25, 'New York']) writer.writerow(['Sarah', 30, 'San Francisco']) writer.writerow(['Mike', 35, 'Chicago']) ``` 这样就成功地创建了一个CSV格式的文本文件。 第二步,将CSV文件导入Excel表格。我们可以直接打开Excel软件,然后选择“数据”->“从文本/CSV导入”,选择刚才创建的CSV文件,并按照向导进行导入即可。 第三步,对Excel表格进行操作并导出为CSV文件。在Excel表格中,我们可以对数据进行各种操作,例如排序、筛选、计算等等。完成操作后,我们可以选择“文件”->“另存为”,然后选择CSV格式,即可将表格另存为CSV文件。 第四步,对CSV文件中的数据进行统计分析。我们可以使用Python的pandas库来对CSV文件中的数据进行统计分析,例如计算平均值、中位数、方差等等。具体操作如下: ```python import pandas as pd # 读取CSV文件 df = pd.read_csv('data.csv') # 计算年龄平均值 mean_age = df['Age'].mean() print('平均年龄:', mean_age) # 计算年龄中位数 median_age = df['Age'].median() print('年龄中位数:', median_age) # 计算年龄方差 var_age = df['Age'].var() print('年龄方差:', var_age) ``` 这样,我们就完成了对CSV文件的统计分析。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值