pandas concat_pandas合并几百个csv只需要一分钟?(含代码,拿去即可用)

数据分析免不了遇到很多个数据结构完全一样,就是数量太多,几十个,多则上千个,如何快速的合并文件一直是一个头疼的问题,在我学习了pandas的cocat后我写了一个小程序,运行后几百个文件都可以快速的合并完成,下面一起来看看如何实现:

024aa7fb5565dce1fae98c20bc3a2955.png

本文涉及的知识点:

  • tkinter的初步了解
  • panads的concat

知识点回顾:

concat:

pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,

keys=None, levels=None, names=None, verify_integrity=False,

copy=True)

合并csv需要以下几个参数:

  • objs:DataFrame的列表
  • ignore_index=False:是否忽略原先的索引

代码实例讲解:

首先导入需要的库:

#ecoding:utf-8# Created by Administrator at 2018-8-27import pandas as pdimport osfrom tkinter.filedialog import askdirectoryimport tkinter as tkfrom tkinter import filedialog

第二步:因为文档经常涉及到中文,所以重点讲解在gbk编码下的实现过程:

想要实现批量合并,1、首先需要拿到文件的路径,根据路径实现循环。2、每个数据导入pandas后的数据名列表

1、获取文件名列表

print("请选择文件:")root = tk.Tk()root.withdraw()file_path = filedialog.askopenfilenames()

2、读取数据

file_list = []#定义一个列表用来放合并的文件名num=0for each in file_path: num+=1 print('正在读取:',each) each=d.read_csv(each,encoding='gbk') file_list.append(each)

3、合并数据

print('正在合并数据,请稍等...')result=pd.concat(file_list,ingone=True)

4、导出数据

print("请选择输出文件路径:")root = tk.Tk()root.withdraw()file_out=askdirectory()print('正在导出...')result.to_csv(file_out + '' + '合并结果' + '.csv', header=1, index=0)print('合并完成!',“共合并文件%s"%num)

如果你是utf编码的文件:

将步骤2中:encoding改为“utf-8”

 "df%s"% num=d.read_csv(each,encoding='gbk')
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【优质项目推荐】 1、项目代码均经过严格本地测试,运行OK,确保功能稳定后才上传平台。可放心下载并立即投入使用,若遇到任何使用问题,随时欢迎私信反馈与沟通,博主会第一时间回复。 2、项目适用于计算机相关专业(如计科、信息安全、数据科学、人工智能、通信、物联网、自动化、电子信息等)的在校学生、专业教师,或企业员工,小白入门等都适用。 3、该项目不仅具有很高的学习借鉴价值,对于初学者来说,也是入门进阶的绝佳选择;当然也可以直接用于 毕设、课设、期末大作业或项目初期立项演示等。 3、开放创新:如果您有一定基础,且热爱探索钻研,可以在此代码基础上二次开发,进行修改、扩展,创造出属于自己的独特应用。 欢迎下载使用优质资源!欢迎借鉴使用,并欢迎学习交流,共同探索编程的无穷魅力! 基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip 基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip 基于业务逻辑生成特征变量python实现源码+数据集+超详细注释.zip

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值