Python学习：pandas读取大文件的一些经验

最新推荐文章于 2024-07-06 23:53:03 发布

菜鸡的自我拯救

最新推荐文章于 2024-07-06 23:53:03 发布

阅读量3k

点赞数

分类专栏： Python学习

本文链接：https://blog.csdn.net/weixin_37659245/article/details/99186229

版权

本文分享了使用Python的pandas库处理大型CSV文件的经验，包括设置读取上限避免错误，加载进度条监控，循环读取数据。通过筛选出四川省的数据，对POI数据的type列进行一级类别提取，以及从location列中分离经纬度，最后按一级类别导出单独文件。

摘要由CSDN通过智能技术生成

一些经验教训：
1、要设置CSV的上限，不然会报错
2、一定要加载进度条（读取太慢时，可以判断程序是否还在运行）
3、循环读进pandas

比如，想要从全国的POI数据中，读取四川省的：

import pandas as pd
import numpy as np
import os
from tqdm._tqdm_notebook import tnrange

filepath='D:\\高德POI数据全国\\2018-POICSV-1'
files=os.listdir(filepath)
pd.io.parsers.csv.field_size_limit(2147483647)

lenfile=len(files)
for i in tnrange(0,lenfile):
    file=filepath+'\\'+files[i]
    file_pd=pd.read_csv(file,encoding='gb18030',engine='python'