pandas分段读取csv

jingshuiliushen_zj

于 2018-10-20 16:54:33 发布

阅读量1.8k

点赞数

分类专栏： python

本文链接：https://blog.csdn.net/jingshuiliushen_zj/article/details/83214815

版权

本文介绍了一种在Python中处理大型CSV文件而不触发MemoryError的方法。通过使用pandas的read_csv函数并设置chunksize参数，可以分块读取文件，避免一次性加载整个文件到内存中。这种方法特别适用于32位Python环境中，当可用内存较小的情况下。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

主要是因为内存太小，一次性读取会MemoryError

def get_df(file_path):
    pd.set_option('display.max_columns', None)
    pd.set_option('display.width',200)
    mylist = []