python批量处理txt文件

背景，用了5个板卡测试了11个电容，每个板卡都有28个通道，得到测量值和真是电容值进行线性拟合，观察这5个板卡的一致性如何，首先是同事进行测量，得到的数据保存在TXT文件中，因此整个文件及文件夹的结构如下图所示，首先是板卡的序列号命名的文件夹，下面有11个电容值命名的文件夹，再往下是CH1-CH2....CH7-CH8等28个通道组合的文件夹，每个文件家下面有一个txt文件，内部保存了1分钟左右的数据，共有29列，若干行，第一列是时间，后面28列对应28个通道的数据，中间用空格隔开

通过python对多个txt文件进行处理

1. 读取路径，读取文件
2. 获取文件名，路径名
3. 对响应的文件夹名字进行排序
4. 对txt文件内部的数据相应的某一列/某一行进行均值处理
5. 写入到事先准备好的Excel文件中
6. 关闭Excel文件

---

#import numpy as np
import pandas as pd
import os



folder = 'D:/log/A190820C31N82'

def all_files_in_a_folder_iter(folder):
    import os
    for root, dirs, files in os.walk(folder):
        for file in files:
            # 获取文件路径
            yield (os.path.join(root, file))

#对CH1-CH2到CH7-CH8的文件夹进行排序
l = os.listdir('D:/log/A190820C31N82/08  583fF    2.3.10.0  30fps')
dic ={}
n=1
for i in l:
    if 'CH' in i:
        dic[i] = n
        n=n+1

#对电容大小排序
dd = os.listdir('D:/log/A190820C31N82')
dsc = {}
m=1
for j in dd:
    if 'fF' in j:
        dsc[j] = m
        m=m+1

#import xlrd
#import xlwt

from openpyxl import load_workbook
#import openpyxl
#打开Excel文件
wb = load_workbook('D:/log/data_process.xlsx')#生成一个已存在的wookbook对象
wb1 = wb.active#激活sheet
for i in all_files_in_a_folder_iter(folder):
    if '.txt' in i and 'ECT' in i:
#        print(i)
        a = pd.read_table(i,header=None)
        s = i.split('\\')[2]
        t = i.split('\\')[1]
        n = dic[s]
        m = dsc[t]
        res = a.values[:,n].mean() #做均值处理，保存结果
        
        wb1.cell(t*5+1,n+2,res)#往sheet中的第t*5+1行第n+2列写入均值
wb.save('D:/log/data_process.xlsx')#保存
wb.close()

文件结构如下图所示