python循环读取csv或dat文件的行或列到新的文件；python按顺序批量读取csv文件

最新推荐文章于 2024-08-31 11:07:39 发布

xbhbc

最新推荐文章于 2024-08-31 11:07:39 发布

阅读量2.4k

点赞数 1

文章标签： python

本文链接：https://blog.csdn.net/xbhbc/article/details/127436266

版权

该博客介绍了如何使用Python高效地批量读取一个文件夹内的多个CSV文件，并将它们合并为一个新的CSV文件。关键步骤包括使用natsorted确保文件读取顺序正确，对数据进行转置以改变数据排列方式，最后使用pandas的concat函数按行拼接数据。通过这个过程，原始的列数据被转换为行数据，并保存到新的CSV文件中。

摘要由CSDN通过智能技术生成

数据情况：一个文件夹里有1.csv 2.csv 3.csv ........200.csv等200个文件，每个文件只有一列数据，现在要循环读取这些数据到一个新的csv文件里，变成200行数据。（dat文件同样适用）

代码如下：

import numpy as np
import pandas as pd
from natsort import ns,natsorted  #这个很重要，有利于按照1~200.csv的顺序读取csv文件
import glob
import os

path_in  = r'E:\Temp\…………这里输入你的路径就好'
file_names = os.listdir(path_in)
file_paths = glob.glob(os.path.join(path_in,'*.csv'))
file_paths = natsorted(file_paths,alg=ns.PATH)
print(file_paths)

df1 = pd.DataFrame()
for file in file_paths:
    df2 = pd.read_csv(file,sep=',',header=None)
    df2 = df2.T[:]         #进行转置（因为我是想把之前的列变行，所以转置了一下）
    df1 = pd.concat([df1, df2], axis=0)      #axis=0意思是纵向拼接，=1的时候是横向拼接
print('dataframe的维度是：', df1.shape)
print(df1)

# 输出数据到本地
df1.to_csv(r'E:\Temp……这是输出路径\result.csv', index=False, sep=',')

其中有两个注意的点：

一个是批量读取文件夹下的csv数据时，如果没有
from natsort import ns,natsorted
……
file_paths = natsorted(file_paths,alg=ns.PATH)
那么批量读取文件的顺序是错误的，可以用print(file_paths)检查一下。

另一个是因为我之前的数据是按列排的，现在要转成行，需要进行转置以及选择合适的数据拼接方式。