python读取超大csv

《python读取超大csv》

  现在工作中遇到的数据动辄千万或上亿的数据，其中图像数据是以 oss 链接的形式放入到 csv 中，csv文件所占磁盘空间一般就会20G起，所以直接读入内存是不现实的，这里记录一种使用 pandas 读取超大 csv 文件的方法。

Key Words：pandas、迭代器、超大csv


Beijing, 2021

作者：mxsurui

Agile Pioneer  

• import pandas as pd

预览 csv 内容

# 导入部分数据进行测试，这里导入 1000 行
reader = pd.read_csv(csv_path, nrows=1000)

使用 pandas 迭代器

# 指定参数iterator = True返回一个可迭代对象 TextFileReader 每次返回 chunksize 条记录
reader = pd.read_csv(csv_path, iterator=True, chunksize=10000)

遍历迭代器，每次处理 chunksize 条记录

for chunk in reader:
	# 提取第一列 [0] 的所有行 0:-1
    chunk_source_list = chunk.iloc[0:-1, [0]].values.tolist()
    # 提取第三列 [2] 的所有行 0:-1
    chunk_answer_list = chunk.iloc[0:-1, [2]].values.tolist()
    for source, answer_html in zip(chunk_source_list, chunk_answer_list):
    	# 这里迭代的长度就是 chunksize
    	pass

参考

https://blog.csdn.net/wifi_wuxian/article/details/105313588