pandas.read_csv()中有一个参数chunksize是控制分块读取的。
比如:df=pandas.read_csv(file,chunksize=1000)就是将文件按1000行1000的来读。读取的结果是一个可迭代对象。
因此,我们通过下面的一个函数先分块读取,最后合并数据,从而读取所有的数据:
def get_df(file):
mylist = []
for chunk in pd.read_csv(file, chunksize=1000):
mylist.append(chunk)
temp_df = pd.concat(mylist, axis= 0)
del mylist
return temp_df
df=get_df(file)就可以读取file所有的数据了
电脑配置太低,pandas.read_csv无法读取大文件
最新推荐文章于 2024-07-06 23:53:03 发布