修炼之路

人生的路就是一条修炼的道路,所以一定不能停下自己的脚步。

pandas读取csv报read csv out of memory

在使用pandas的read_csv方法读取很大的csv表格文件的时候,报内存错误。我们可以通过使用read_csv中的chunksize来控制读取表格中数据的条数

import pandas as pd

if __name__ == "__main__":
    #每次读取10条数据
    data_reader = pd.read_csv("G:/dataset/kaggle/house_price/train.csv",chunksize=10)
    for chunk in data_reader:
        #chunk为一个DataFrame
        print(chunk.shape)

每次读取指定条的数据,读取到的chunk是一个DataFrame,通过初始化一个DataFrame然后利用append方法将所有的chunk连接为一个DataFrame。

import pandas as pd

if __name__ == "__main__":
    #每次读取10条数据
    data_reader = pd.read_csv("G:/dataset/kaggle/house_price/train.csv",chunksize=10)
    #初始化一个DataFrame
    data = pd.DataFrame()
    for chunk in data_reader:
        #连接chunk
        data = data.append(chunk)
    print(data.shape)

阅读更多

扫码向博主提问

去开通我的Chat快问

修炼之路

专注于机器学习领域
  • 擅长领域:
  • 机器学习
  • python
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sinat_29957455/article/details/80318928
文章标签: pandas
个人分类: pandas修炼之路
上一篇数据可视化之箱线图详解
下一篇使用numpy来创建数组
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭