合并文件夹下所有的csv文件,生成一个新csv文件

import os
import pandas as pd
import time

start_time = time.time()
result_table = []
data_path = "F:\\软件截图\\301\\csvFile"
data_path = "F:\\软件截图\\301\\test1"
#topdown的默认值是True,表示首先返回根目录树下的文件,然后遍历目录树下的子目录。
# 值设为False时,则表示先遍历目录树下的子目录,返回子目录下的文件,最后返回根目录下的文件
#os.walk() 方法用于通过在目录树中游走输出在目录中的文件名,向上或者向下。
# os.walk() 方法是一个简单易用的文件、目录遍历器,可以帮助我们高效的处理文件、目录方面的事情。
# for file in os.walk("F:\\软件截图\\301\\csvFile", topdown=True):
# for file in os.walk("F:\\软件截图\\301\\csvFile", topdown=True):
for file in os.walk("F:\\软件截图\\301\\test2", topdown=True):
    # for file in os.listdir(data_path):
    print(file)
    # path=data_path+'/'+file
    for table in file[2]:
        path = file[0] + "/" + table

        data = pd.read_csv(path, header=None, encoding="utf-8", engine="python", index_col=0)
        # print(data)
        result_table.append(data)
        print("当前执行表格:", table)
result_data = pd.concat(result_table)
result_data.to_csv("F:\\zhengwangwork\\test csv\\df.csv", encoding="utf_8_sig", index=False)
end_time = time.time()
use_time = start_time - end_time
use_time = round(use_time, 2)
print("用时" + str(use_time) + "秒,表格已合并")
df = pd.read_csv('F:\\zhengwangwork\\test csv\\df.csv')
print(df)
# df = df.drop(0)
# 重新设置索引 从0开始  drop=True  丢弃原来的索引列
df.reset_index(drop=True, inplace=True)
# 设置索引     从1开始
df.index = [index for index in range(1, len(df.index) + 1)]
df.to_csv("F:\\zhengwangwork\\test csv\\3.csv", header=None)

当发现读取的文件名称是乱序,不是按照自己的心中所想,来显示的,简单的就是修改文件名改为00001的形式或者1_1表示11最笨的方法,目前还没有重新排序的方法,以后会有改进

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值