小内存服务器python pd.read_csv()下载文件out of memory的问题

最近在linux云服务器,2G RAM 上跑一些Python程序,需要下载csv.gz文件,但文件可能又几百M,很容易导致out of memory错误。
最终采用requests,分块下载,存入文件的防止,解决了问题。

需要在get函数中,将stream设置为True。

    f = open(f"filename.gz", "wb")
    # chunk是指定每次写入的大小,每次只写了1024byte
    for chunk in r.iter_content(chunk_size=1024):
        if chunk:
            f.write(chunk)hon

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
pd.read_csv()是pandas库中的一个函数,用于读取CSV文件并将其转换为DataFrame对象。它有以下参数: 1. filepath_or_buffer:CSV文件的路径或URL,也可以是一个打开的文件对象。 2. sep:CSV文件中的分隔符,默认为逗号。 3. delimiter:同sep,指定分隔符。 4. header:指定哪一行作为列名,默认为,即第一行。 5. names:指定列名,如果header=None,则必须指定。 6. index_col:指定哪一列作为行索引。 7. usecols:指定读取哪些列。 8. dtype:指定每一列的数据类型。 9. skiprows:跳过指定的行数。 10. nrows:读取的行数。 11. skip_blank_lines:是否跳过空行,默认为True。 12. na_values:将指定的值视为缺失值。 13. comment:指定注释字符,遇到注释行将被忽略。 14. encoding:指定文件编码。 15. squeeze:如果数据只有一列,则返回Series对象而不是DataFrame对象。 16. thousands:千分位分隔符。 17. decimal:小数点分隔符。 18. parse_dates:将指定的列解析为日期类型。 19. infer_datetime_format:是否自动推断日期格式。 20. keep_date_col:是否保留日期列。 21. dayfirst:是否将日期中的日放在前面。 22. date_parser:指定日期解析函数。 23. memory_map:是否使用内存映射文件读取数据。 24. error_bad_lines:是否跳过读取错误的行。 25. warn_bad_lines:是否警告读取错误的行。 26. low_memory:是否分块读取数据以节省内存。 27. chunksize:指定每次读取的行数。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值