一些基于python的批量处理方法3

python批量处理csv为npy

场景

是这样的。我有一个文件夹。文件夹下全部是csv文件。我需要读取所有csv文件，并对其中的一些数据提取出来，存入npy文件中。

首先我们需要一个你要处理的文件夹，和另存npy文件的文件夹。
直接上代码

import numpy as np
import pickle
import time
import os
import csv
# 定义一个处理函数
# 读取csv文件
def creatcsv2shape(file_path,file_names,folder_path_1):
    for file_name in file_names:
        file_path2 = os.path.join(file_path, file_name)
        if file_name.endswith('.csv'):
            npy_filename = file_name.replace('.csv', '.npy')
            folder_path_2 = os.path.join(folder_path_1, npy_filename)
        with open(file_path2, 'r') as f:
        # 创建csv读取器
            reader = csv.reader(f)
            # 创建空列表
            data = []
            data_oneline = np.zeros((4,64),dtype=np.complex128)
            row_data =[]
            # 遍历每一行数据
            for row in reader:
                kk = 0
                # 从第9列开始，每64列取一次数据
                for i in range(6, len(row), 64):
                    k = 0
                    # 将64列数据转换为复数格式
                    for j in range(i,i+64):
                        data_oneline[kk][k] = complex(row[j])
                        k+=1
                    kk+=1
                row_data.append(data_oneline)   
    # 将数据列表转换为形状为(n,4,64)的矩阵
        row_data = np.array(row_data)
        np.save(folder_path_2, row_data)
        print(row_data.shape)

解释：此函数中，我们要输入读取文件夹路径，文件名，存取文件夹路径
我们需要将所有csv文件名放入一个数组中，然后依次遍历。
因此我们这样做：

# 压缩矩阵
folder_path = 'F:/CSI/CSIproject/dataset/dataset/datasets/train/3'
folder_path_1 = 'F:/CSI/CSIproject/dataset/dataset/datasets/test/3'
# csv文件路径
file_path = 'F:/CSI/CSIproject/dataset/dataset/datasets/train/0/room3111.csv'
# 创建空列表
file_names = []
# 遍历文件夹中的所有csv文件
for file_name in os.listdir(folder_path):
    if file_name.endswith('.csv'):
        # 将文件名添加到列表中
        file_names.append(file_name)
creatcsv2shape(folder_path,file_names,folder_path_1)

就可以完成批处理了！
我这里是将csv文件中的数据处理成了多维矩阵。以便后续处理用。