CSV指南：使用Pandas库分割大型CSV文件

处理非常大的CSV文件时，直接操作整个文件可能会非常困难，特别是当文件大小超过了你的计算机内存时。一个常见的解决方案是将大文件分割成多个小文件，这样可以更容易地进行数据处理和分析。

准备工作

在开始之前，你需要确保你的计算机上安装了Python和Pandas库。Pandas是一个强大的数据分析和处理库，在处理CSV文件时尤其有用。

如果你还没有安装Pandas，可以通过在终端或命令提示符中运行以下命令来安装：

pip install pandas

编写Python程序

下面是一个Python脚本示例，它将读取一个大型CSV文件，并将其分割成每个包含600万行的多个小文件。每个小文件将按顺序命名（例如data1.csv, data2.csv等）。

import pandas as pd

def split_csv(file_path, output_dir, rows_per_file=6000000):
    """
    分割大型CSV文件，并将分割后的文件保存到指定目录。

    参数:
    - file_path (str): 原始CSV文件的路径。
    - output_dir (str): 分割后的文件保存的目录。
    - rows_per_file (int): 每个分割文件包含的行数，默认为600万行。
    """
    # 使用Pandas读取CSV文件，chunksize定义了每个块的行数
    chunk_iterator = pd.read_csv(file_path, chunksize=rows_per_file)
    
    # 初始化文件编号
    file_number = 1
    
    # 遍历每个数据块
    for chunk in chunk_iterator:
        # 定义新文件的完整路径，包括目录和文件名
        new_file_name = f'{output_dir}/data{file_number}.csv'
        
        # 将当前块的数据保存到新的CSV文件中
        chunk.to_csv(new_file_name, index=False)
        
        # 输出保存信息，帮助跟踪进度
        print(f'Saved {new_file_name}')
        
        # 准备为下一个数据块命名
        file_number += 1

# 替换为你的CSV文件路径
file_path = 'path_to_your_large_csv_file.csv'
# 替换为你希望保存分割文件的目录路径
output_dir = 'path_to_your_output_directory'

# 调用函数，开始分割文件
split_csv(file_path, output_dir)

代码解释

• 导入Pandas库：首先，我们需要导入Pandas库，这是处理CSV文件的关键。
• 定义分割函数：split_csv函数是我们用来分割CSV文件的。它接受文件路径和每个小文件应包含的行数作为参数。
• 读取和分割文件：使用pd.read_csv函数和chunksize参数来逐块读取原始CSV文件。这种方法不会一次性将整个文件加载到内存中，从而节省内存使用。
• 保存小文件：对于每个数据块，我们使用to_csv方法将其保存为一个新的CSV文件。文件名通过file_number变量来生成，确保每个文件名都是唯一的。
• 运行脚本：最后，通过替换file_path变量的值为你的大型CSV文件路径，并运行脚本，就可以开始分割文件了。

注意事项

• 路径分隔符：在构建new_file_name时，确保使用正确的路径分隔符。Windows系统通常使用反斜杠\，而Linux和macOS使用正斜杠/。为了代码的可移植性，你可以使用Python的os.path.join方法来构建跨平台的路径，如os.path.join(output_dir, f'data{file_number}.csv')。
• 目录存在性：在运行脚本之前，确保output_dir指定的目录已经存在。如果目录不存在，to_csv方法将会抛出错误。你可以使用Python的os.makedirs(output_dir, exist_ok=True)来确保目录存在（exist_ok=True参数会让函数在目录已存在时不抛出错误）。
• 确保你有足够的磁盘空间来存储生成的小文件。
• 分割大型文件可能需要一些时间，具体取决于文件的大小和你的计算机性能。

chunksize参数的大小

在使用Pandas的read_csv函数时，chunksize参数本身在技术上没有硬性的上限。chunksize指定了每次迭代返回的行数，这个机制允许你以块的形式逐步处理大型文件，而不是一次性将整个文件加载到内存中。选择合适的chunksize主要取决于以下几个因素：

1. 可用内存：chunksize应根据你的机器的可用内存来选择。较大的chunksize意味着每个块占用更多的内存，如果内存足够，这可以提高处理速度。如果内存有限，应选择较小的chunksize以避免内存溢出。

2. 处理速度：较大的chunksize可能减少读取文件所需的迭代次数，从而在某些情况下提高处理速度。然而，如果chunksize太大，超出了内存容量，可能会导致内存交换（swapping），反而降低处理速度。

3. 文件大小和结构：文件的总大小和数据的结构（如行的平均长度）也会影响选择的chunksize。对于包含许多小字段的文件，较大的chunksize可能仍然适用；对于包含大量文本数据的文件，可能需要减小chunksize以适应每行更大的内存需求。

PS：内存交换（swapping）在操作系统里面学过。

内存交换（Swapping）是操作系统中的一种内存管理机制，用于在物理内存（RAM）不足以满足所有当前运行程序的需求时，扩展可用内存空间。这个过程涉及将部分数据从物理内存移动到硬盘上的一个特定区域（称为交换空间或交换文件）中，以释放物理内存空间给其他需要立即使用内存的程序或进程。当这些被移动到硬盘的数据再次需要被访问时，操作系统会将其从硬盘交换回物理内存中，这个过程可能会导致另一部分数据被移动到硬盘上，以保持物理内存的可用性。

因此，虽然没有硬性的限制，但是合理选择chunksize是实现高效数据处理的关键。通常，你可能需要根据具体情况通过试验来找到最佳的chunksize。如果你不确定从哪里开始，可以从一个中等大小的值（如几千或几万行）开始试验，并根据处理过程中的内存使用和处理速度进行调整。