python 读取超大csv文件

python相关学习资料：

 https://edu.51cto.com/video/3502.html

 https://edu.51cto.com/video/3832.html

 https://edu.51cto.com/video/4102.html

Python 读取超大 CSV 文件的指南

作为一名经验丰富的开发者，我经常被问到如何使用 Python 读取超大的 CSV 文件。在这篇文章中，我将详细介绍整个流程，并提供必要的代码示例和注释，以帮助初学者理解每一步。

1. 流程概述

首先，让我们通过一个表格来概述整个流程：

步骤	描述
1	准备环境
2	读取 CSV 文件
3	处理数据
4	存储结果

2. 准备环境

在开始之前，确保你已经安装了 Python 和 pandas 库。pandas 是一个强大的数据分析库，可以轻松地处理大型 CSV 文件。

登录后复制

pip install pandas

• 1.

3. 读取 CSV 文件

读取大型 CSV 文件时，我们不能一次性将整个文件加载到内存中。相反，我们应该分批次读取数据。以下是使用 pandas 的 read_csv 函数实现这一点的示例代码：

登录后复制

import pandas as pd

# 定义一个函数，用于分批次读取 CSV 文件
def read_large_csv(file_path, chunk_size=10000):
    chunks = pd.read_csv(file_path, chunksize=chunk_size)
    for chunk in chunks:
        yield chunk

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.

这段代码定义了一个名为 read_large_csv 的函数，它接受文件路径和每批次的大小（默认为 10000 行）。函数使用 pd.read_csv 的 chunksize 参数来分批次读取 CSV 文件，并使用生成器 yield 返回每个批次的数据。

4. 处理数据

现在我们已经能够分批次读取 CSV 文件，接下来需要对数据进行处理。这可能包括数据清洗、转换、聚合等操作。以下是一个简单的示例，演示如何对数据进行过滤和转换：

登录后复制

def process_data(chunk):
    # 过滤掉列值为空的行
    chunk = chunk.dropna()
    
    # 将某个列的数据类型转换为 float
    chunk['some_column'] = chunk['some_column'].astype(float)
    
    return chunk

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.

5. 存储结果

处理完数据后，我们可能需要将结果存储到文件或数据库中。以下是将处理后的数据存储到新的 CSV 文件的示例代码：

登录后复制

def save_processed_data(file_path, processed_data):
    processed_data.to_csv(file_path, index=False)

• 1.
• 2.

6. 整合流程

现在我们已经了解了各个步骤，让我们将它们整合到一个完整的流程中：

登录后复制

def process_large_csv(input_file, output_file, chunk_size=10000):
    processed_data = pd.DataFrame()

    for chunk in read_large_csv(input_file, chunk_size):
        processed_chunk = process_data(chunk)
        processed_data = pd.concat([processed_data, processed_chunk])

    save_processed_data(output_file, processed_data)

# 使用示例
process_large_csv('large_file.csv', 'processed_file.csv')

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.

7. 关系图

以下是使用 Mermaid 语法表示的数据处理流程的关系图：

erDiagram
    FILE ||--o CHUNK : contains
    CHUNK ||--o DATA : contains
    DATA ||--o PROCESSED_DATA : processed
    PROCESSED_DATA ||--o FILE : saved

8. 甘特图

以下是使用 Mermaid 语法表示的数据处理流程的甘特图：

9. 结语

通过这篇文章，我们详细介绍了如何使用 Python 和 pandas 库读取和处理大型 CSV 文件。我们提供了详细的代码示例和注释，以帮助初学者理解每一步。希望这篇文章对你有所帮助，祝你在数据处理的道路上越走越远！

原创作者: u_16213397 转载于: https://blog.51cto.com/u_16213397/11587348