【办公自动化】用Python按时间分割txt文件中的数据

艾派森

已于 2023-10-22 17:42:47 修改

阅读量1.3w

点赞数 77

分类专栏：办公自动化文章标签： python

于 2023-10-09 22:17:16 首次发布

本文链接：https://blog.csdn.net/m0_64336780/article/details/132794807

版权

办公自动化专栏收录该内容

15 篇文章 41 订阅

订阅专栏

本文详细介绍了如何使用Python处理txt文件，包括文本分析、自动化任务、清洗、预处理、自定义操作、生成和可视化，以及按时间分割txt文件中的数据，提供实例和基本操作步骤。同时提及了相关资源和一个抽奖活动。

摘要由CSDN通过智能技术生成

🤵‍♂️ 个人主页：@艾派森的个人主页

✍🏻作者简介：Python学习者
🐋 希望大家多多支持，我们一起进步！😄
如果文章对你有帮助的话，
欢迎评论 💬点赞👍🏻 收藏 📂加关注+

一、Python处理txt

二、用Python按时间分割txt文件中的数据

三、往期推荐

四、文末推荐与福利

一、Python处理txt

Python处理txt的好处

文本分析和挖掘：Python可以用于对文本数据进行分析、挖掘和处理，从中提取有用的信息，例如情感分析、关键字提取、主题建模等。
自动化文本处理：Python可以自动化文本处理任务，如批量处理文档、搜索和替换文本、转换文本格式等。这对于提高工作效率非常有帮助。
文本清洗：Python可以用于清洗文本数据，去除不需要的字符、空格、标点符号和特殊字符，以准备数据用于进一步分析。
文本预处理：在进行自然语言处理（NLP）任务之前，通常需要对文本进行预处理，例如分词、停用词移除、词干提取等。Python提供了许多库和工具来执行这些任务。
自定义文本操作：Python允许你根据需要自定义文本操作。你可以编写自己的文本处理函数或脚本，以满足特定的需求。
文本生成：Python可以用于生成文本，例如自动生成报告、文章、电子邮件等。你可以使用模板和变量来个性化生成的文本。
文本可视化：Python的各种数据可视化库可以用于将文本数据可视化，例如制作词云图、文本热图、词频分布图等。
文本搜索：Python可以用于文本搜索和匹配，帮助你查找特定的文本模式或关键字。
与外部数据源的集成：Python可以轻松与数据库、API和其他数据源集成，以获取、处理和存储文本数据。
跨平台：Python是跨平台的，可以在多个操作系统上运行，因此你可以在不同环境中处理文本数据。

Python处理txt的基本方法步骤：

1.打开文件：首先，你需要打开文本文件以便读取或写入内容。你可以使用内置的open()函数来打开文件。

# 打开文件以读取内容
with open('example.txt', 'r') as file:
    content = file.read()

# 打开文件以写入内容
with open('output.txt', 'w') as file:
    file.write('Hello, World!')

2.读取文件内容：如果你需要读取文件的内容，可以使用read()方法来读取整个文件的内容，或者使用readline()或readlines()方法逐行读取。

with open('example.txt', 'r') as file:
    content = file.read()  # 读取整个文件内容
    
    # 或者逐行读取
    lines = file.readlines()
    for line in lines:
        print(line)

3.写入文件内容：如果你需要向文件中写入内容，可以使用write()方法将文本写入文件。

with open('output.txt', 'w') as file:
    file.write('Hello, World!')

4.关闭文件：一定要在完成文件操作后关闭文件，以释放资源并确保文件的正确保存。

file.close()

5.文本处理：一旦你读取了文本，你可以使用Python的字符串操作来处理文本数据。这包括分词、文本清洗、正则表达式匹配、字符串替换等。

# 分割文本为单词
words = content.split()

# 清洗文本，去除标点符号和特殊字符
import re
cleaned_text = re.sub(r'[^\w\s]', '', content)

# 使用正则表达式查找特定模式
pattern = r'\b\d{3}-\d{2}-\d{4}\b'  # 查找美国社会安全号码
matches = re.findall(pattern, content)

# 字符串替换
replaced_text = content.replace('old_word', 'new_word')

6.写入处理后的文本：一旦你完成了文本处理，你可以将处理后的文本写回文件。

with open('output.txt', 'w') as file:
    file.write(processed_text)

这些是处理文本文件的基本方法。你可以根据具体的需求来组合和定制这些方法，以满足你的文本处理任务。在处理大量文本数据时，通常需要考虑内存管理和性能优化，但上述步骤是基础的文本文件处理方法。

二、用Python按时间分割txt文件中的数据

技术工具：

Python版本:3.9

代码编辑器：jupyter notebook

有一个监测系统，每隔两分钟就会记录一下监测结果，如下图所示：

现在要求按小时将数据提取，并存为新的txt文件，也就是1天会对应有24个txt文件。先整理一下思路：

1. 读取数据

2. 将每行数据的时间戳转换成“日期-小时”格式，并按此分类数据，存入字典

3. 按“日期-小时”分断，将写入数据到新的txt文件

使用`readlines()`将txt中的每一行数据读取为一个长字符串，并存入列表。数据读取如下所示。

#读取txt文件中的数据
file = open('data.txt')
lines = file.readlines()
lines[:5]

然后定义一个将时间戳转换成“日期时间”格式的函数，以便后续调用。先导入`time, datetime`模块。`time.localtime`用于将时间戳格式化为本地时间，这样就获得一个时间序列（比如如下打印结果）。然后用`time.strftime`从时间序列中提取出我们设定的格式。此处设定的格式为`%Y-%m-%d %H`，对应年，月，日和小时。尝试调用了一下函数`timeStampToDate(1480581236)`，结果`'2016-12-01 16'`符合我们的要求。

import time, datetime
def timeStampToDate(timeStamp):
    timeArray = time.localtime(timeStamp)
    return time.strftime("%Y-%m-%d %H", timeArray)

print("转换后的时间序列如下:\n")
timeStamp = 1480581236
timeArray = time.localtime(timeStamp)
timeArray = print(timeArray)
timeStampToDate(1480581236)

然后按“日期小时”格式提取数据，并存入字典`data`。比如将时间是这个`2016-12-01 16`的所有数据都集中存放。此处，我们按`2016-12-01 16`为字典的键，这个时间对应的所有行都作为列表存为它的值。由于从txt文件中读取的数据是一行对应一个字符串，所以需要先分割。在txt文件中，各字段是按空格分隔的，所以此处也以空格分割，即`split(" ")`。然后调用时间戳转换函数`timeStampToDate()`将列表`row_data`中的第三个数据（时间戳）转换成设定的日期-时间格式。随后将获取到的“日期-时间”设定为字典中的键的默认值，其值为一个空列表。这样才能保证后续获取到的相同“日期-时间”的数据都集中到它的麾下。数据获取完后用`data`查看一下数据，显示正常。

#按日期-小时提取数据，并存入字典
data = {}
for line in lines:
    row_data =line.split(" ") #将一行数据按空格分隔
    date_hour = timeStampToDate(int(row_data[2])) #将第三个数据（时间戳）转换成设定的日期-时间格式
    data.setdefault(date_hour,[]) #以日期-时间为键，相同日期-时间的数据存为它的值
    data[date_hour].append(row_data) #数据存入data字典
    
data

然后就准备写入数据了。由于需要写入N次，还是建立一个函数，重复调用比较方便。需要给函数传入两个参数，一个是文件名，另一个是包含数据的列表。文件名直接使用字典`data`的键，也就是要求的“日期时间”，比如`2016-12-01 16`。`+ '.txt'`用于手动加上后缀。`a`表示添加模式，不会影响已写入的数据。由于传入的列表是个双层嵌套列表，所以需要遍历两次，才能提取到最终的数据。提取到数据后，为避免各个数据挨在一起，需要在每个数据之间插入空格。但每行最后一个数据不用插入了，因为最后一个数据带了换行符`\n`，加上空格，就会导致下一行的数据前面都有一个空格。因此如下程序用`if`语句做了限制，只有当元素不是最后一个元素，才在后面插入空格。

#写入数据函数
def To_txt(filename, data):#filename为写入文件的路径，data为要写入数据列表.
    file = open(filename + '.txt','a')
    for i in range(len(data)):
        for j in range(len(data[i])):
            text = data[i][j]
            if j != len(data[i])-1: #判断是否最后一个元素
                text = text+' '   #若不是最后一个元素才加空格
            file.write(text)
    file.close()

写入函数写好后，就可以批量写入数据了。遍历字典`data`的所有键，调用写入函数写入即可。结果如下。

三、往期推荐

Python提取pdf中的表格数据（附实战案例）

使用Python一键提取PDF中的表格到Excel

使用Python批量生成PPT版荣誉证书

使用Python批量处理Excel文件并转为csv文件

四、文末推荐与福利

《电子商务基础实训教程》免费包邮送出3本！

内容简介：

本书作为一本电子商务基础与运营的教学用书，一切从实际应用出发，系统地介绍了电子商务及网上开店的基础知识，以行业实战应用为学习目标，全面讲解了电子商务运用过程中一些bibei的实战技能。
本书一共包含8个项目，内容包括初识电子商务、网上开店、网店后台基础设置、网店商品的发布和管理、网店活动营销、网店推广工具、电商数据与数据分析、其他电商平台简介。每个项目中都包含课前导学、课堂实训及课后习题等内容板块，帮助读者明确学习目标，熟练掌握每个项目的知识和技能。
本书由具有多年从事电子商务教学的一线知名教师主编，具有很强的针对性和实用性，且结构严谨、叙述清晰、内容丰富、通俗易懂。本书是专为高等职业院校和大学本科院校电子商务专业课程设计的基础与行业实训的精品教材，并得到众多院校教师的一致好评。同时，本书还可以作为电子商务相关专业的实战教材和电子商务培训班的学习手册。

编辑推荐：

21世纪电子商务技能培训实战规划教材
项目教学：场景模式、任务驱动、学练结合，符合认知逻辑的深入浅出
课前导学：全面讲解、结合案例、夯实基础，调动学习兴趣的生动介绍
课堂实训：现学现练、任务实践、实战检验，提高综合素质的目标设定
超值资源：PPT课件、同步视频、配套习题，由易至难，由简及繁，步步为营，稳稳提高

抽奖方式：评论区随机抽取3位小伙伴免费送出！
参与方式：关注博主、点赞、收藏、评论区评论“人生苦短，拒绝内卷！”（切记要点赞+收藏，否则抽奖无效，每个人最多评论三次！）
活动截止时间：2023-10-12 20:00:00

当当网购买链接：http://product.dangdang.com/29601645.html