Python数据处理（三）-txt文件指定数据提取并可视化作图_数据集txt文件指定

本文链接：https://blog.csdn.net/2401_84139963/article/details/137891831

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Python全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024c （备注Python）

正文

4，作图

三，各个步骤

一，提取数据后直接作图

import matplotlib.pyplot as plt

# 准备存储提取数据的列表
times = []

# 打开文本文件并读取每一行
with open('./log/be_cycling_tBE.txt', 'r') as file:
    for line in file:
        # 找到"Time=&"和"&mS"之间的字符串
        start_index = line.find("Time=&")
        end_index = line.find("&mS", start_index)
        #start_index = line.find("&]=&")
        #end_index = line.find("&mS=", start_index)
        if start_index != -1 and end_index != -1:
            # 提取时间数据
            time_data = line[start_index + len("Time=&"):end_index].strip()

            # 将时间数据转换为数字并添加到列表中
            try:
                time_value = float(time_data)
                times.append(time_value)
            except ValueError:
                # 数据转换失败时忽略错误
                continue

# 使用matplotlib绘制散点图
plt.scatter(range(len(times)), times, marker='.', color='blue')

# 设置图表标题和轴标签
plt.title('Venezia_100K_blk64_time')
plt.xlabel('Line Number')
plt.ylabel('Time (ms)')

# 显示图表
plt.show()

注释:

1，打开指定文件，并申明列表

2，for循环读取每一行数据，并作相应的数据处理

3，正则表达式，提取我们需要的指定数据并添加到列表中，同时获取列表的长度方便后面作图

4，直接用python的库函数，绘制散点图，没有对应库的，打开终端安装

5，作图时可在图上写出一些标记

二，提取数据后处理后再作图

这个就是提取完数据后需要处理过后再作图，比如下面的是提取完数据后，以256个数据为一组，求平均值和最值。

import matplotlib.pyplot as plt

def process_chunk(chunk):
    """辅助函数，用于处理和分析一个数据块 (即16个值)."""
    # 将字符串值转换为浮点数
    float_chunk = [float(x) for x in chunk]
    # 计算最大值、最小值和平均值
    max_val = max(float_chunk)
    min_val = min(float_chunk)
    avg_val = sum(float_chunk) / len(float_chunk)
    return (max_val, min_val, avg_val)


# 初始化列表用于存储各个分组的最大值、最小值和平均值
max_vals, min_vals, avg_vals = [], [], []

# 定义计数器以跟踪当前处理的行数
counter = 0
# 定义一个临时列表存储当前正在处理的值组
current_chunk = []

# 打开文本文件并逐行读取
with open('./log/PP_TIME.txt', 'r') as file:
    for line in file:
        # 查找 "&]=&" 和 "&mS" 之间的字符串
        start_index = line.find("&]=&")
        end_index = line.find("&mS", start_index)

        if start_index != -1 and end_index != -1:
            # 提取字符串并去掉空格
            time_data = line[start_index + len("&]=&"):end_index].strip()

            # 尝试将字符串转换为浮点数
            try:
                current_chunk.append(time_data)
            except ValueError:
                # 当转换失败时，忽略这个数据
                continue

            # 检查是否已收集了16个数据
            if len(current_chunk) == 256:
                max_val, min_val, avg_val = process_chunk(current_chunk)
                max_vals.append(max_val)
                min_vals.append(min_val)
                avg_vals.append(avg_val)
                # 清空当前的值组，为下一组数据做准备
                current_chunk = []

        # 更新计数器
        counter += 1
        # 如果需要可以打印进度
        # print(f'Processed {counter} lines...')

# 散点图数据为每组的最大值、最小值和平均值
plt.scatter(range(len(max_vals)), max_vals, color='red', label='Max', marker='o')
plt.scatter(range(len(min_vals)), min_vals, color='blue', label='Min', marker='x')
plt.scatter(range(len(avg_vals)), avg_vals, color='green', label='Avg', marker='^')



**（1）Python所有方向的学习路线（新版）**  

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。



![在这里插入图片描述](https://img-blog.csdnimg.cn/1f807758e039481fa866130abf71d796.png#pic_center)



**（2）Python学习视频**



包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

![在这里插入图片描述](https://img-blog.csdnimg.cn/d66e3ad5592f4cdcb197de0dc0438ec5.png#pic_center)



**（3）100多个练手项目**

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

![在这里插入图片描述](https://img-blog.csdnimg.cn/f5aeb4050ab547cf90b1a028d1aacb1d.png#pic_center)




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）**
![img](https://img-blog.csdnimg.cn/img_convert/7fa7a117e15c65f08bf9f185b1e7a60c.png)

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
**需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）**
[外链图片转存中...(img-2L0oX6do-1713363538201)]

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**