目录
第二章(pandas)
Python数据处理从零开始----第二章(pandas)⑧pandas读写csv文件(3)
===============================================
将多个文件加载到Dataframe
如果我们有来自许多来源的数据,如果要同时分析来自不同CSV文件的数据,我们可能希望将它们全部加载到一个数据帧中。在接下来的示例中,我们将使用Pandas read_csv来读取多个文件。
首先,我们将使用Python os和fnmatch在“SimData”目录中列出文件类型为CSV的“Day”字样的所有文件。接下来,我们使用Python列表理解将CSV文件加载到数据帧中(存储在列表中,请参阅类型(dfs)输出)。
import os, fnmatch
csv_files = fnmatch.filter(os.listdir('./SimData'), '*Day*.csv')
dfs = [pd.read_csv('SimData/' + os.sep + csv_file)
for csv_file in csv_files]
type(dfs)
# Output: list
最后,我们使用方法concat来连接列表中的数据帧。 在示例文件中有一个名为“Day”的列,因此每天(即CSV文件)都是唯一的。
df = pd.concat(dfs, sort=False)
df.Day.unique()
我们要使用的第二种方法有点简单. 如果我们比较两种方法(os + fnmatch与glob),我们可以看到在我们不必放置路径。 这是因为glob将拥有我们文件的完整路径。 便利!
import glob
csv_files = glob.glob('SimData/*Day*.csv')
dfs = [pd.read_csv(csv_file) for csv_file in csv_files]
df = pd.concat(dfs, sort=False)
如果我们在每个CSV文件中没有列,确定它是哪个数据集(例如,来自不同日期的数据),我们可以在每个数据框的新列中应用文件名:
import glob
csv_files = glob.glob('SimData/*Day*.csv')
dfs = []
for csv_file in csv_files:
temp_df = pd.read_csv(csv_file)
temp_df['DataF'] = csv_file.split('\\')[1]
dfs.append(temp_df)