Python学习：pandas读取大文件的一些经验

一些经验教训：
1、要设置CSV的上限，不然会报错
2、一定要加载进度条（读取太慢时，可以判断程序是否还在运行）
3、循环读进pandas

比如，想要从全国的POI数据中，读取四川省的：

import pandas as pd
import numpy as np
import os
from tqdm._tqdm_notebook import tnrange

filepath='D:\\高德POI数据全国\\2018-POICSV-1'
files=os.listdir(filepath)
pd.io.parsers.csv.field_size_limit(2147483647)

lenfile=len(files)
for i in tnrange(0,lenfile):
    file=filepath+'\\'+files[i]
    file_pd=pd.read_csv(file,encoding='gb18030',engine='python',quoting=