如何使用python进行数据表的合并 !

 

案例背景

 

 

 

 

 

假设我们的文件是放在G盘 python文件夹下单的projectFile文件夹中，具体的情况需根据读者文件位置进行设置

我们需要将下面两个文件，合并在一起

 

 

 

 

Python学习交流群：1004391443

合并前，data_1.csv的数据

 

 

 

 

 

合并前，data_2.csv的数据

 

 

 

 

 

 

实现代码如下：

#先导入需要的包

import pandas as pd

import csv

import sys

import glob

#定义一个文件存放位置变量。

input_path= 'G:\Python\projectFile'

 

#使用glob.glob的方法对所有data_开头的文件进行获取

all_files= glob.glob(os.path.join(input_path,'data_*')) 
 
#创建一个列表，用于接收所有读取的内容
all_data_frames=[] 
#对获取的所有文件进行遍历
for file in all_files: 
    #对遍历的内容以csv格式进行读取
    data_frame = pd.read_csv(file,index_col=None)
	#把读取到的内容，增加到all_data_frames列表中
    all_data_frames.append(data_frame)
#对放在列表中的内容进行拼接，axis参数为合并方向,0是纵向,1是横向
data_frame_concat=pd.concat(all_data_frames,axis=0,\
ignore_index=True)
#将合并后的文件，输出到新文件data_concat_output_file中

data_frame_concat.to_csv('G:\Python\projectFile\data_concat_output_file.csv',index=False)

 

 

 

 

 

 

设计思路，在这个案例中，我们将要合并的文件，读取后转化为列表的元素，再进行合并。

总结

这种方法也可以用于几百上千个文件需要 合并到一起的情况。

如果需要合并的文件的文件名称并不规则，那么我们可以先修改文件名称（给文件名加一个统一的前缀），再进行以上操作。想了解更多操作技巧，可关注公众号，后期将会有更多内容与大家分享。