pickle.dump()把大量数据写入文件发生MemoryError解决方法

最新推荐文章于 2024-06-05 10:39:18 发布
最新推荐文章于 2024-06-05 10:39:18 发布
阅读量9.5k 收藏 21
点赞数 9
分类专栏： python 文章标签： pickle.dump() joblib
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chao_1083934282/article/details/88387727
版权

跑了12个小时的代码，最后因为pickle.dump()发生MemoryError错误，实在头疼。pickle.dump()有个bug就是不能存储大量数据，所以只能用别的方法，我用的是joblib读写方式，轻松搞定，Yes!

from sklearn.externals import joblib
#写的方式
save_file = os.path.join(save_path, "detections.pkl")
joblib.dump(detections, save_file)

#读取方式
det_boxes = joblib.load(os.path.join(save_path, 'detections.pkl'))

 

倔强超
关注
  • 9
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
专栏目录
使用pickle存储数据dump 和 load实例讲解
12-23
使用pickle模块来dump你的数据：对上篇博客里的sketch.txt文件： import os import sys import pickle man=[ ] other=[ ] try: data=open('sketch.txt') for each_line in data: try: (role,line_spoken)=each_...
(python) joblib.Memory ：用于加速函数计算的强大方法
weixin_68880828的博客
04-18 521
joblib 是一个 Python 库，主要用于提供轻松的并行计算和有效的输入/输出操作。它特别适合用于在 Python 中执行重复的工作，如机器学习中经常需要的模型训练。其中，Memory 类是 joblib 的一个重要组件，它提供了一个透明的磁盘缓存功能。Memory 的主要目的是缓存那些耗时的函数的输出，，而不是重新计算。
python pickle dump_[python技巧]使用pickle.dump出现memoryError
weixin_34118050的博客
03-01 803
问题描述：在使用pickle来持久化将大量的numpy arrays存入硬盘时候，使用pickle.dump方法的时出现MemoryError。解决办法：本质原来是因为pickle本身的一些bug，对大量数据无法进行处理，但是在pickle4.0+可以对4G以上的数据进行操作，stack overflow上有人给出了一些解释和分批次写入disk的方法 。但是我觉得这都是不是一些好办法，最好的办法就...
【Python】解决Python报错：MemoryError
最新发布
科技改变人类，技术成就未来
06-05 795
解决Python报错：MemoryError
python error pickle.dump 报错MemoryError
qq_20481015的博客
09-27 1901
问题描述： 使用pickle保存大量的numpy arrays，使用pickle.dump方法的时经常出现MemoryError。错误信息如图所示。 解决办法： 根本原因是因为pickle本身的一些问题，对大量numpy arrays无法进行处理。 解决这个问题最好的办法就是抛弃pickle，使用joblib这个包来实现存储。详细信息：https://pypi.o...
MATLAB与信号处理课程手册
qq_43874964的博客
11-28 2457
Matlab与信号处理课程手册 文章目录Matlab与信号处理课程手册1. 采用思维导图描述本课程知识点脉络2. MATLAB 编程2.1. 脚本2.2. 函数2.3. 实时脚本和函数2.3.1. 什么是实时脚本或实时函数2.3.2. 实时脚本和纯代码脚本的区别2.3.3. 共享实时脚本和函数2.4. 类2.4.1. 使用 MATLAB 进行面向对象的设计2.4.1.1. 为什么使用面向对象的设计2.4.2. 什么是 System Object2.4.2.1. 采用 System Object 编程的特点2
问题记录--解决pickle.dump存在的memory error问题
牵一只蜗牛去散步
10-13 1398
当使用pickle.dump()保存超过4G的数据时，会报memory error的问题。
【python】使用pickle模块将数据永久保存，pickle.dump()序列化、pickle.load()反序列化实例详解
brucewong0516的博客
01-13 6939
Python提供两个模块来实现序列化：cPickle和pickle。这两个模块功能是一样的，区别在于cPickle是C语言写的，速度快，pickle是纯Python写的，速度慢，跟cStringIO和StringIO一个道理。用的时候，先尝试导入cPickle，如果失败，再导入pickle： In [1]: try: ...: import cPickle ...: exce
Python —— pickle序列化(大量数据提高python读写速度)(pkl文件)
hxxjxw的博客
07-14 4949
当大量数据的时候，保存成pkl序列化文件的格式，能够加快python的读写速度 pickle的功能就是把你上次计算得到的数据保存起来，当你需要使用这些数据时，直接通过load将数据进行恢复，这样的好处有： 不需要重新去计算得到数据，节省计算机资源； 可以更好的被内存调用，不需要经过数据格式的转换，提高效率；【直接保存为其他格式，如txt、csv的数据读写速度都不如序列化后的数据（字节流）】 pickle可以保存多个对象。实验中，同一数据集下需要保存的内容不止............
Python 之 cPickle用法
热门推荐
恋梦轩
10-10 2万+
序列化就是通过特殊的方法将数据存储到相应存储区的过程， 反序列化就是依据数据序列化时的规则进行反向执行， 以取出原数据的过程。在编写程序的过程中， 我们有时需要将数据进行序列化与反序列化的操作， 本篇博客旨在阐述序列化与反序列化的作用及举例说明几个常用方法的使用。
-pickle.PicklingError: Can't pickle <function... pycharm2023运行报错
06-03
pickle Python多进程程序在pycharm2023运行报错解决
python pickle存储、读取大数据量列表、字典数据的方法
09-19
3. 调用`pickle.dump()`函数，将数据对象和打开的文件对象作为参数传入。这会将Python对象转换为字节流并写入文件。 4. 最后，记得关闭文件，确保所有数据都被写入。 例如，对于一个列表： ```python list1 = [123...
解决python3读取Python2存储的pickle文件问题
01-21
我在使用python3.5处理一个序列化...data=pickle.load(picklefile) print (data) UnicodeDecodeError: 'ascii' codec can't decode byte 0xa0 in position 11: ordinal not in range(128) 解决办法： import pickle
python pickle 模块的使用以及2种典型报错处理
攻城狮的家园
05-10 3690
用于序列化的两个模块 　　json：用于字符串和Python数据类型间进行转换 　　pickle: 用于python特有的类型和python的数据类型间进行转换 　　json提供四个功能：dumps,dump,loads,load 　　pickle提供四个功能：dumps,dump,loads,load pickle可以存储什么类型的数据呢？ 所有python支持的原生类型：布尔值，整数，浮点数...
Python Pickle模块入门级使用介绍
chenxy_bwave的专栏
12-08 3947
Python pickle模块是对二进制协议的一种实现，用于对于python中的对象结构进行（正向的）序列化(serialization)和（反向的）解序列化(de-serialization)处理。序列化(serialization)将结构化的python对象（如list, dict等）转化为字节流(byte stream)，通常也称为pickling， 解序列化处理即将由pickling处理生成的字节流反向变换回原来的python对象，也称为unpickling.
python pickle dump_python文件操作：pickle模块多次dump后出现的读取问题
weixin_30794381的博客
03-01 1999
pickle模块在python中是用于数据持久化的，基本用法涉及到的也就是dump和load，亦或者dumps和loads。pickle在使用过程中有一个特点，就是由于其特殊的内容标记，使得文件dump几次，就必须load几次才能将数据全部读出来，用代码来展现就是如下形式：importpicklea=1b=2c=3with open("ceshi.txt","wb") as f:pickle.du...
pickle对大数据序列化
七七的博客
06-07 937
pickle在执行dump时，可以设置协议级别，当对大数据进行序列化的时候请采用最高协议。pickle.HIGHEST_PROTOCOL。下为原文：《python 利用pickle存大数据》最近在处理一份数据，有一个巨大的、字典型的中间变量，由于今后会持久、高频地使用，因此我考虑将其保存成类似于matlab的.mat格式的数据，方便以后随时读取。理所当然地会想到利用pickle来保存数据，因为这是...
pickle.dump压缩文件
03-13
pickle.dump()函数是Python中用于将对象序列化并保存到文件的方法。它可以将Python对象转换为字节流，并将其写入文件中。pickle.dump()函数的语法如下： ```python pickle.dump(obj, file, protocol=None, *, fix_imports=True) ``` 其中，obj是要序列化的对象，file是要写入的文件对象。protocol参数是可选的，用于指定pickle协议的版本号，默认为最高版本。fix_imports参数也是可选的，用于控制是否修复导入问题，默认为True。 关于压缩文件，pickle.dump()函数本身并不支持压缩功能。如果需要将pickle序列化后的文件进行压缩，可以使用Python的gzip模块或者zipfile模块来实现。 使用gzip模块压缩文件的示例代码如下： ```python import pickle import gzip data = {'name': 'Alice', 'age': 25} # 将对象序列化并保存到文件 with gzip.open('data.pkl.gz', 'wb') as f: pickle.dump(data, f) ``` 使用zipfile模块压缩文件的示例代码如下： ```python import pickle import zipfile data = {'name': 'Alice', 'age': 25} # 将对象序列化并保存到文件 with zipfile.ZipFile('data.pkl.zip', 'w') as zf: with zf.open('data.pkl', 'w') as f: pickle.dump(data, f) ``` 以上代码分别使用gzip和zipfile模块将pickle序列化后的对象保存到压缩文件中。你可以根据需要选择使用哪种压缩方式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值