pandas流式读取数据，不再担心内存炸裂

基本写法如下：

import pandas as pd

csv_iterator = pd.read_csv('csv文件位置.csv', iterator=True, chunksize=2) # 一次读取2行数据

for data in csv_iterator:
    print(data)

或者指定每次读取的数据量使用：

import pandas as pd

csv_iterator = pd.read_csv('csv文件位置.csv', iterator=True)

for i in range(5):
    data = csv_iterator.get_chunk(2) # 每次读取2行数据
    print(data)

参考资料

IO tools (text, CSV, HDF5, …)：https://pandas.pydata.org/pandas-docs/stable/user_guide/io.html