python如何从txt文件中解析出有效的数据

1、 问题描述

笔者所使用的的txt文件较为复杂，但是几乎所有的类似问题都可从中推演出来。笔者的txt文件有效信息格式如下

====Start data collection label1====
xxxxxxx #表示未知的中英文字符串
xxx acc 0.1 0.2 0.3  xxx
xxx gyro 0.4 0.5 0.6
==== End data clooection xxx====
xxxxxxx
====Start data collection label2====
xxxxxxx #表示未知的中英文字符串
xxx acc 0.11 0.21 0.31  xxx
xxx gyro 0.41 0.51 0.61
==== End data clooection xxx====
xxxxxxx

假设label1对应的标签是1，我们期望得到的csv文件是:

0.1 0.2 0.3 0.4 0.5 0.6 1
0.11 0.21 0.31 0.41 0.51 0.61 2

2、所需第三方库

import os
import numpy as np
import traceback #用于防止错误的溢出

3、任务分解

3.1 将所有的txt文件放到一个文件夹中，进行批量读取

path='./dataset'
files=os.listdir(path) #得到文件夹目录
for file in files: #遍历目录中的文件
	if os.path.splitext(file)[-1]='.txt'
	file=path+'\\'+file #得到完整的文件路径名
	try:
		tocsv_file(flie) #tocsv_file为用于处理txt的主要程序
	except Exception as e:
		print(traceback.format_exc())

3.2将类别进行分类统计标签

首先定义一个字典，用于统计标签

dicts={
'label1':'1',
'label2':'2',
'label3':'3',
'label4':'4',
}

3.3用一个列表保存txt文件的每一行

datas=[]
with open(file,"r",encoding='unicode-escape') as f: #编码格式可根据需要修改
	for line in f.readlines():
		line=line.strip('\n') #去掉每一行的换行符
		datas.append(line) #将每一行的字符串都添加到datas列表中

3.4 统计每个label出现的次数

注意，这里还需要一个二维列表，用于分别保存start data collection和end data collection之间的数据，命名为traindata

i=-1 #表示traindata的索引，初始化为-1
traindata=[[] for _ in range(100)]
flag=False #表示进入 start data collection的标志
labels=[] #初步提取的所有标签集合
for data in datas:
	if 'Start data collection' in data:
		flag=True
		i=i+1
		label=data.split(' ')[4] #通过相应的规则分解得到标签
		labels.append(dicts[label])#将标签通过字典转换成整数
	if flag==True:
		traindata[i].append(data)
	if 'End data collection' in data:
		falg=False
labels=np.array(labels) #将标签有字符转换为浮点数

3.5 开始有效数据提取

在提取数据之前，我们先定义一个函数，count_list，用于判断一个二维列表的非空元素的长度

def count_list(nums):  # 此函数的作用是判断一个二维列表的非空元素的长度
    count = 0
    for i in range(len(nums)):
        if nums[i] != []:
            count += 1
    return count

# 先定义两个二维列表，用于储存acc和gyro数据
res1 = [[] for _ in range(count_list(traindata))]
res2 = [[] for _ in range(count_list(traindata))]
#再定义一个二维列表，将前两个列表合并到一起
res3 = [[] for _ in range(count_list(traindata))]
for j in range(count_list(traindata)):
	strdatas = traindata[j]
	for strdata in strdatas:
		if 'acc' in strdata:
			valid_data=strdata.split(' ')[3]+' '+strdata.split(' ')[4]+' 'strdata.split(' ')[5]
			res1[j].append(valid_data)
		if 'gyro' in strdata:
			valid_data=strdata.split(' ')[3]+' '+strdata.split(' ')[4]+' 'strdata.split(' ')[5]
			res2[j].append(valid_data)
#这里使用2重for循环。len(res2)=len(res1)
#担心会出现说偶尔某一次只有acc，没有gyro的数据，因此，做最小值判断，防止报错
for ii in range(len(res2)):
   for jj in range(min(len(res1[ii]), len(res2[ii]))):
       res3[ii].append(res2[ii][jj] + ',' + res1[ii][jj] + ',' + labels[ii])		

3.5 有效数据保存

savepath=''
subject=''
for iii in range(len(res3))
	res4=[]
	listdatas=res3[iii]
	for listdata in listdatas:
		temp=listdata.split(' ')
		res4.append(tmep)
	res5=np.array(res4)
	res5=res5.astype(float)
	np.savetxt('{}{}{}'.format(),res5,delimiter=' ',fmt=)

4.整体代码