chunksize、iterator --- Pandas分块处理大文件-CSDN博客

本文链接：https://blog.csdn.net/qq_42363032/article/details/115178869

该博客介绍了如何利用Pandas的chunksize和iterator参数，分块读取和处理大型CSV或TSV文件。通过指定chunksize，可以避免一次性将整个文件加载到内存中，提高内存效率。同时，可以通过get_chunk方法逐块进行数据操作，如清洗、转换等，最后使用pd.concat将所有块合并为一个完整的DataFrame。这种方法对于处理大规模数据集尤其有用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原理就是不一次性把文件数据读入内存中，而是分多次

1.指定chunksize分块读取文件

read_csv 和 read_table 有一个 chunksize 参数，用以指定一个块大小(每次读取多少行)，返回一个可迭代的 TextFileReader 对象。

table=pd.read_table(path+'kuaishou.txt',sep='\t',chunksize=1000000)
for df in table:
    对df处理
    #如df.drop(columns=['page','video_id'],axis=1,inplace=True)
    #print(type(df),df.shape)打印看一下信息

我这里又对文件进行了划分，分成若干个子文件分别处理（没错，to_csv也同样有chunksize参数）

2.指定iterator=True

iterator=True同样返回的是TextFileReader对象

reader = pd.read_table('tmp.sv', sep='\t', iterator=True)
df=reader.get_chunk(10000)
#通过get_chunk(size)，返回一个size行的块
#接着同样可以对df处理

example：

 # 数据读取，因数据量比较大，采用分批加载
    if os.path.exists(file_path):
        data = pd.read_csv(file_path, sep=',', engine='python', iterator=True)  # iterator=True 返回一个TextFileReader对象
        chunk_size = 1000000
        chunks = []
        loop = True
        while loop:
            try:
                chunk = data.get_chunk(chunk_size)      # 通过get_chunk返回一个size条记录。也可以在read_csv的时候不指定iterator=True，指定chunksize=size
                chunks.append(chunk)
                # print('chunks: %d' % len(chunks))
            except StopIteration:
                loop = False
                print('Iteration is stopped.')
        print('Start concat...')
        df = pd.concat(chunks, ignore_index=True)
        print('file %s have %d data' % (filename, df.shape[0]))
        return df
    else:
        print("Don't have this file!")
        return None