用Python实现一个简单的数据处理_数据处理的一个py-CSDN博客

本文链接：https://blog.csdn.net/weixin_46299838/article/details/110947695

本文介绍了如何使用Python处理大量TXT设备数据，通过指定时间范围筛选数据并将其导出为Excel文件。在读取TXT文件时遇到了字符编码问题，最终通过手动转换编码成功读取，并通过比较时间戳筛选出所需数据。

摘要由CSDN通过智能技术生成

一、前言

最近在做与设备管理差不多的工作，常常需要对设备数据进行处理，就想用Python来简化一下我的工作。
有一个设备的数据文件是保存为TXT文件，运行时间较长存储数据量很大，加之行业要求不能删除历史数据，导致数据量比较庞大，然而我的电脑配置又不行，TXT转为Excel之后操作起来特别困难，常常导致电脑死机。
以此为背景，用Python读取TXT数据，找出需要的时间段数据并导出为Excel。

二、读取TXT文件

目的是生成Excel文件，所以这里使用与之最接近的DateFrame表格型数据结构来容纳TXT的内容。
首先需要引入panda模块，然后再读取数据

import pandas as pd
#导入表格数据
df1 = pd.read_table(r"C:\Users\Administrator\Desktop\123\Data_log_0200.txt", sep = "\t")
print(df1)

运行之后报错，查找之后发现是字符编码不对，该函数默认的字符编码是utf-8，而该TXT字符编码类型为Unicode。
然查询Python字符编码库中发现没有Unicode，只发一个类似的unicode_escape，最尝试一下指定字符编码

import pandas as pd
#导入表格数据
df1 = pd.read_table(r"C:\Users\Administrator\Desktop