pandas使用chunksize分块处理大型csv文件
最近接手一个任务,从一个有40亿行数据的csv文件中抽取出满足条件的某些行的数据,40亿行。。。如果直接使用pandas的read_csv()方法去读取这个csv文件,那服务器的内存是会吃不消的,所以就非常有必要使用chunksize去分块处理。现在就开始讲chunksize的一些使用。**1.本次任务的目标**红框内是时间戳,需要使用pd.to_datetime()函数去将时间戳转换为...
原创
2019-03-15 23:58:40 ·
57531 阅读 ·
3 评论