MemoryError: Unable to allocate 26.4 GiB for an array with shape (3540000000,) and data type float64

最新推荐文章于 2023-10-23 15:00:34 发布

苏学算法

最新推荐文章于 2023-10-23 15:00:34 发布

阅读量1.7w

点赞数 7

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/weixin_41888257/article/details/107708475

版权

234 篇文章 22 订阅

订阅专栏

如果这样读取，

file = open('../data/entries_en.txt', 'r')
data = file.readlines()

会报内存不足

需要改成：

with open('../file.txt', 'r') as f:
    for line in f:
        # do stuff

这是逐行读取文件，而不是一次全部读取到 RAM

查看 30 GB 的tdms 数据文件

file_keys = TdmsFile(file_dir).objects.keys()   # 查看keys
for key in file_keys:
    print(key)

报错

MemoryError: Unable to allocate 26.4 GiB for an array with shape (3540000000,) and data type float64

改为

with TdmsFile.open(file_dir) as tdms_file:
    file_keys = tdms_file.objects.keys()
    print(file_keys)

即可正常运行！！

题主本硕机械专业，自学转互联网算法岗成功，获得阿里、字节、美团、华为等 15+ offer
后续会在公众号「苏学算法」分享各类学习笔记、面试经验，感兴趣的可以关注一波～

在这里插入图片描述

关注