用python pandas按块读取超大csv/txt

如果一个csv文件过大，比如说达到好几G，直接读取的话内存估计hold不住，幸好pandas支持使用chunksize指定行数，每次按多少行多少行来读取，这样就避免了一次性读取过多数据导致内存崩溃。

用row["某个列的名称"] 即可读取该列的对应数据了，之后就可以进行数据处理了。

import pandas as pd

chunksize = 1000

count = 1
for df in pd.read_csv('1.txt',chunksize=chunksize):
	print(count)
	
	for index,row in df.iterrows():
		print(count,index)
		# break
		# x=row['djxh']
		# y=row[1]
		# print(index,x,y)
	count+=1

补充一段代码，有时候csv里面会有一些所谓的脏数据导致读取错误，这个时候只需要配置error_bad_lines=False 即可跳过这一行的处理，注意，是跳过，帮你自动处理是不可能的，还是要自己想办法去排除产生这个错误的原因。

通常来讲，超大csv/txt都是来自数据库的查询结果，这些超大文件里面如果有时候包含了英文的分号、逗号、单双引号、空格、换行符等符号就容易出现这种错误，处理方法通常就是在数据库查询脚本那里将这些符号提前替换掉。

import pandas as pd

chunksize = 500000

data = pd.read_csv("sample.csv",encoding='utf-8',error_bad_lines=False,chunksize=chunksize)

count = 1
for chunk in data:
	file_name = "out"+str(count)+".xlsx"
	count +=1
	chunk.to_excel(file_name,index=False)
	break