python中pandas处理csv_Python数据处理从零开始----第二章（pandas）⑧pandas读写csv文件(3)...

目录

第二章(pandas)

Python数据处理从零开始----第二章(pandas)⑧pandas读写csv文件(3)

===============================================

将多个文件加载到Dataframe

如果我们有来自许多来源的数据，如果要同时分析来自不同CSV文件的数据，我们可能希望将它们全部加载到一个数据帧中。在接下来的示例中，我们将使用Pandas read_csv来读取多个文件。

首先，我们将使用Python os和fnmatch在“SimData”目录中列出文件类型为CSV的“Day”字样的所有文件。接下来，我们使用Python列表理解将CSV文件加载到数据帧中(存储在列表中，请参阅类型(dfs)输出)。

import os, fnmatch

csv_files = fnmatch.filter(os.listdir('./SimData'), '*Day*.csv')

dfs = [pd.read_csv('SimData/' + os.sep + csv_file)

for csv_file in csv_files]

type(dfs)

# Output: list

最后，我们使用方法concat来连接列表中的数据帧。 在示例文件中有一个名为“Day”的列，因此每天(即CSV文件)都是唯一的。

df = pd.concat(dfs, sort=False)

df.Day.unique()

我们要使用的第二种方法有点简单. 如果我们比较两种方法(os + fnmatch与glob)，我们可以看到在我们不必放置路径。 这是因为glob将拥有我们文件的完整路径。 便利！

import glob

csv_files = glob.glob('SimData/*Day*.csv')

dfs = [pd.read_csv(csv_file) for csv_file in csv_files]

df = pd.concat(dfs, sort=False)

如果我们在每个CSV文件中没有列，确定它是哪个数据集(例如，来自不同日期的数据)，我们可以在每个数据框的新列中应用文件名：

import glob

csv_files = glob.glob('SimData/*Day*.csv')

dfs = []

for csv_file in csv_files:

temp_df = pd.read_csv(csv_file)

temp_df['DataF'] = csv_file.split('\\')[1]

dfs.append(temp_df)