- 博客(2)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 用pandas读取大文件
读取上GB大文件的方式有很多，但是并不是都有像pandas这样强大的数据清洗功能。数据太大是，可以分块处理，及时手动删除内存，最后在合并数据。 今天在读取一个超大csv文件的时候，遇到困难：首先使用office打不开 然后在python中使用基本的pandas.read_csv打开文件时：MemoryError 最后查阅read_csv文档发现可以分块读取。read_csv...
2018-05-20 15:48:30
11439
原创 对比两组经纬度，找出最相近的点，直接看代码
两组数据作为例子，函数可直接使用。 import pandas as pdfrom scipy.spatial.distance import cdistdata1 = {'Lat': pd.Series([50.6373473,50.63740441,50.63744285,50.63737839,50.6376054,50.6375896,50.6374239,50.637...
2018-05-15 22:09:41
4499
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人