pandas读取大文件

两种方法

1 使用参数chunksize

reader = pd.read_csv('./data/my_data.txt', sep='\t', chunksize=4)  # chunksize=4其实就是4行4行地读取
reader.get_chunk(4)    # 查看四行

reader.get_chunk(4) 多次运行会有不同的结果，因为是迭代的，第一次显示的是0~3行，第二次则显示的是4-7行，以此类推。

2 使用参数iterator

reader = pd.read_csv('./data/my_data.txt', sep='\t', iterator=True)

iterator=True 就是迭代读取了，同样也可以使用get_chunk()方法来查看