Python数据处理(三)-txt文件指定数据提取并可视化作图_数据集txt文件指定

先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7

深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年最新Python全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img



既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上Python知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

如果你需要这些资料,可以添加V获取:vip1024c (备注Python)
img

正文

这个需求比较简单,思路简单清晰。

1,我们需要时间或者其他数据,正则表达式提取(提取方式有很多种,正则表达式只是其一)

2,提取的数据存入python的数据结构–列表(就能满足功能要求)

3,数据处理

4,作图

三,各个步骤

一,提取数据后直接作图
import matplotlib.pyplot as plt

# 准备存储提取数据的列表
times = []

# 打开文本文件并读取每一行
with open('./log/be_cycling_tBE.txt', 'r') as file:
    for line in file:
        # 找到"Time=&"和"&mS"之间的字符串
        start_index = line.find("Time=&")
        end_index = line.find("&mS", start_index)
        #start_index = line.find("&]=&")
        #end_index = line.find("&mS=", start_index)
        if start_index != -1 and end_index != -1:
            # 提取时间数据
            time_data = line[start_index + len("Time=&"):end_index].strip()

            # 将时间数据转换为数字并添加到列表中
            try:
                time_value = float(time_data)
                times.append(time_value)
            except ValueError:
                # 数据转换失败时忽略错误
                continue

# 使用matplotlib绘制散点图
plt.scatter(range(len(times)), times, marker='.', color='blue')

# 设置图表标题和轴标签
plt.title('Venezia_100K_blk64_time')
plt.xlabel('Line Number')
plt.ylabel('Time (ms)')

# 显示图表
plt.show()

注释:

1,打开指定文件,并申明列表

2,for循环读取每一行数据,并作相应的数据处理

3,正则表达式,提取我们需要的指定数据并添加到列表中,同时获取列表的长度方便后面作图

4,直接用python的库函数,绘制散点图,没有对应库的,打开终端安装

5,作图时可在图上写出一些标记

二,提取数据后处理后再作图

这个就是提取完数据后需要处理过后再作图,比如下面的是提取完数据后,以256个数据为一组,求平均值和最值。

import matplotlib.pyplot as plt

def process_chunk(chunk):
    """辅助函数,用于处理和分析一个数据块 (即16个值)."""
    # 将字符串值转换为浮点数
    float_chunk = [float(x) for x in chunk]
    # 计算最大值、最小值和平均值
    max_val = max(float_chunk)
    min_val = min(float_chunk)
    avg_val = sum(float_chunk) / len(float_chunk)
    return (max_val, min_val, avg_val)


# 初始化列表用于存储各个分组的最大值、最小值和平均值
max_vals, min_vals, avg_vals = [], [], []

# 定义计数器以跟踪当前处理的行数
counter = 0
# 定义一个临时列表存储当前正在处理的值组
current_chunk = []

# 打开文本文件并逐行读取
with open('./log/PP_TIME.txt', 'r') as file:
    for line in file:
        # 查找 "&]=&" 和 "&mS" 之间的字符串
        start_index = line.find("&]=&")
        end_index = line.find("&mS", start_index)

        if start_index != -1 and end_index != -1:
            # 提取字符串并去掉空格
            time_data = line[start_index + len("&]=&"):end_index].strip()

            # 尝试将字符串转换为浮点数
            try:
                current_chunk.append(time_data)
            except ValueError:
                # 当转换失败时,忽略这个数据
                continue

            # 检查是否已收集了16个数据
            if len(current_chunk) == 256:
                max_val, min_val, avg_val = process_chunk(current_chunk)
                max_vals.append(max_val)
                min_vals.append(min_val)
                avg_vals.append(avg_val)
                # 清空当前的值组,为下一组数据做准备
文末有福利领取哦~
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

👉**一、Python所有方向的学习路线**

Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。![img](https://img-blog.csdnimg.cn/c67c0f87cf9343879a1278dfb067f802.png)

👉**二、Python必备开发工具**

![img](https://img-blog.csdnimg.cn/757ca3f717df4825b7d90a11cad93bc7.png)  
👉**三、Python视频合集**

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。  
![img](https://img-blog.csdnimg.cn/31066dd7f1d245159f21623d9efafa68.png)

👉 **四、实战案例**

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。**(文末领读者福利)**  
![img](https://img-blog.csdnimg.cn/e78afb3dcb8e4da3bae5b6ffb9c07ec7.png)

👉**五、Python练习题**

检查学习结果。  
![img](https://img-blog.csdnimg.cn/280da06969e54cf180f4904270636b8e.png)

👉**六、面试资料**

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。  
![img](https://img-blog.csdnimg.cn/a9d7c35e6919437a988883d84dcc5e58.png)

![img](https://img-blog.csdnimg.cn/5db8141418d544d3a8e9da4805b1a3f9.png)

👉因篇幅有限,仅展示部分资料,这份完整版的Python全套学习资料已经上传




**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友,可以添加V获取:vip1024c (备注python)**
![img](https://img-blog.csdnimg.cn/img_convert/1d6ae3fbd58e4c73d60cf37d1f1d564d.png)

**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**
*

**需要这份系统化的资料的朋友,可以添加V获取:vip1024c (备注python)**
[外链图片转存中...(img-OBIWmj3b-1713172287081)]

**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**
  • 3
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值