Python:将大型CSV文件转化为DataFrame

    之前因为比赛一直在玩DataFrame,处理一些小型数据感觉很是方便。但是今天遇到了一个3.32G大的CSV文件感觉甚是无力,总是报内存错误。上网查找了一些方法感觉都很有启发啊,所以自己整合了一下。并记录下来,以防记性不好的我忘记。

方法一:

with open('C:/Users/asus/Desktop/Python/test.csv') as f:
    for line in f:
        print line

这种方法虽然写起来甚是简便,代码量很少,但是读出来的都是字符串,不易清洗整理和计算,且耗时特别长,足有202s。但是可以一运行就出来东西,可以暂停来观察内容的格式什么的。


方法二:

def read_in_block(file_path):
    BLOCK_SIZE = 1024
    with open(file_path,'r') as f:
        while True:
            block = f.read(BLOCK_SIZE)  
            if block:
  • 13
    点赞
  • 62
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值