利用pandas的chunksize分块处理大型csv文件

jialun0116

于 2020-11-02 12:02:03 发布

阅读量1.9k

点赞数 2

分类专栏： pandas 面试数据分析文章标签： python 数据分析

本文链接：https://blog.csdn.net/qq_30031221/article/details/109446157

版权

博客介绍了使用Python处理超大CSV文件的方法。由于文件过大无法一次性加载到内存，可利用read_csv中的chunksize参数指定分块大小来读取文件，返回可迭代的TextFileReader对象进行分块处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

当读取超大的csv文件时，可能一次性不能全部放入内存中，从而无法加载，所以需要分块处理。

在read_csv中有个参数chunksize，通过指定一个chunksize分块大小来读取文件，返回的是一个可迭代的对象TextFileReader

import pandas as pd
''' chunksize:每一块有100行数据  iterator:可迭代对象 '''
reader = pd.read_csv('all_test.csv',chunksize=100,iterator=True)
count