解决Pandas读取大文本文件导致内存溢出的问题
问题描述当使用pandas读取大文本文件时,会由于内存不足产生MemoryError异常,可以设置分块读取的方式来解决。代码实现import pandas as pd# 由于数据量较大,一次性读入可能造成内存错误(Memmory Error),因而使用pandas的分块读取def read_from_local(file_name, chunk_size=500000): ...
原创
2019-07-08 22:23:03 ·
6745 阅读 ·
2 评论