pandas读取csv报read csv out of memory

最新推荐文章于 2024-07-09 16:25:58 发布

修炼之路

最新推荐文章于 2024-07-09 16:25:58 发布

阅读量3.9k

点赞数 2

分类专栏： pandas修炼之路文章标签： pandas

本文链接：https://blog.csdn.net/sinat_29957455/article/details/80318928

版权

pandas修炼之路专栏收录该内容

19 篇文章 5 订阅

订阅专栏

在使用pandas的read_csv方法读取很大的csv表格文件的时候，报内存错误。我们可以通过使用read_csv中的chunksize来控制读取表格中数据的条数

import pandas as pd

if __name__ == "__main__":
    #每次读取10条数据
    data_reader = pd.read_csv("G:/dataset/kaggle/house_price/train.csv",chunksize=10)
    for chunk in data_reader:
        #chunk为一个DataFrame
        print(chunk.shape)

每次读取指定条的数据，读取到的chunk是一个DataFrame，通过初始化一个DataFrame然后利用append方法将所有的chunk连接为一个DataFrame。

import pandas as pd

if __name__ == "__main__":
    #每次读取10条数据
    data_reader = pd.read_csv("G:/dataset/kaggle/house_price/train.csv",chunksize=10)
    #初始化一个DataFrame
    data = pd.DataFrame()
    for chunk in data_reader:
        #连接chunk
        data = data.append(chunk)
    print(data.shape)