python pandas读取文件内容_python pandas读取大型文件

数据处理：pandas处理大型csv文件,使用pandas分块处理大文件

1. 读取限定列

一个 csv文件中，有很多列，而我们只关心其中的某些列是，如果把每行数据都读取出来，在提取信息，显然会增加IO的量，可以在读read_csv()时，给定参数，增加效率。

file = pd.read_csv("filename.csv",usecols=["col1","col2",...])

2.读取限定行

增加read_csv()方法中的nrows参数，设定读取的行数。

file = pd.read_csv("filename.csv",nrows=1000,usecols=["col1",...])

3.分块读取

chunksize可以指定一个分块大小来读取文件，返回的是一个迭代器，一个textfilereader对象。chunksize =1000,代表每次读取1000行。

reader = pd.read_csv("filename.csv",nrows=1000,usecols=[],chunksize=1000,iterator=True) reader

可以使用列表添加每块，最后使用pd.concat([],ignore_index=True),将数据拼接在一起。