如何用Python读取并合并当前目录下的所有CSV文件

作为一名刚入行的开发者,你可能会遇到需要处理多个CSV文件的情况。本文将教你如何使用Python读取当前目录下所有的CSV文件并合并它们。我们将使用pandas库来完成这个任务,因为pandas非常适合处理表格数据。

流程

以下是实现这个任务的流程:

开始 导入必要的库 获取当前目录下所有的CSV文件 逐个读取CSV文件 将读取的数据合并 保存合并后的数据 结束

步骤详解

1. 导入必要的库

首先,我们需要导入pandasos库。pandas用于数据处理,os用于获取当前目录下的所有文件。

import pandas as pd
import os
  • 1.
  • 2.
2. 获取当前目录下所有的CSV文件

使用os.listdir()函数获取当前目录下的所有文件,然后筛选出CSV文件。

files = [f for f in os.listdir('.') if f.endswith('.csv')]
  • 1.
3. 逐个读取CSV文件

创建一个空的DataFrame,然后逐个读取CSV文件并将它们追加到这个DataFrame中。

all_data = pd.DataFrame()

for file in files:
    data = pd.read_csv(file)
    all_data = pd.concat([all_data, data], ignore_index=True)
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
4. 将读取的数据合并

在上一步中,我们已经将所有CSV文件的数据追加到了all_data中。现在,我们只需要确保数据是合并在一起的。

# 这一步实际上是在上一步中完成的
  • 1.
5. 保存合并后的数据

最后,我们将合并后的数据保存到一个新的CSV文件中。

all_data.to_csv('merged_data.csv', index=False)
  • 1.
6. 结束

现在,你已经成功地读取并合并了当前目录下所有的CSV文件,并将它们保存到了一个新的文件中。

总结

通过本文,你学会了如何使用Python读取当前目录下所有的CSV文件并合并它们。这个过程包括了导入必要的库、获取CSV文件列表、逐个读取文件、合并数据以及保存合并后的数据。希望这对你有所帮助,祝你在开发之路上越走越远!