【Python】pandas读取亿级数据

思想是分块读取，通过read_csv或read_table的两种方式（两个参数：chunksize和iterator）。

1. 指定chunksize

只要指定了这个参数，那么得到的结果就不是一个DataFrame对象，而是一个TextFileReader，它是一个生成器对象

import pandas as pd
data_iterator = pd.read_csv('data_20220701.csv', chunksize=1000)
for data_chunk in data_iterator:
    print(data_chunk)

上面的程序中指定的chunksize=1000表示1次读取1000行，那么第二次读的时候就是从1001行开始读取。

2. 指定iterator=True，并与get_chunk配合使用

iterator=True同样返回的是TextFileReader对象

import pandas as pd

f = open('./data/ows-raw.txt',encoding='utf-8')
reader = pd.read_csv(f, sep=',', iterator=True, error_bad_lines=False) #跳过报错行
loop = True
chunkSize = 1000
chunks = []
while loop:
　　try:
　　　　chunk = reader.get_chunk(chunkSize)
　　　　chunks.append(chunk)
　　except StopIteration:
　　　　loop = False
　　　　print("Iteration is stopped.")

df = pd.concat(chunks, ignore_index=True)

参考文献：

pandas读取大量数据的分块处理 - -零 - 博客园

pandas分批读取大数据集_htbeker的博客-CSDN博客_pandas读取大量数据

​​​​​​pandas分批读取大数据集教程 - 腾讯云开发者社区-腾讯云

pandas读取大文件筛选数据 - 知乎