解决使用pickle.dump出现cannot serialize a bytes object larger than 4 GiB的问题

最新推荐文章于 2024-05-12 09:16:52 发布
最新推荐文章于 2024-05-12 09:16:52 发布
阅读量9.9k 收藏 3
点赞数 6
文章标签： python Error 解决 pickle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34286693/article/details/90142084
版权

直接在pickle.dump中增加一个protocol = 4这个参数就行。

import pickle

pickle.dump(data,open('file','wb'),protocol = 4)

 

Patrick_Zhuang
关注
  • 6
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Pytorch--OverflowError: cannot serialize a bytes object larger than 4 GiB
夜风
07-27 7218
首先给出报错提示 [07.27.20|23:44:32] Training epoch: 0 Traceback (most recent call last): File "main.py", line 31, in <module> p.start() File "D:\code\st-gcn\processor\processor.py", line 114, in start self.train() File "D:\code\st-gcn\proces
DimensionReduction.py
04-01
#作业 #1.加载13维度的房地产自变量数据； #2.将上述数据用PCA降维到2D空间； #3.绘制降维结果，根据1维的房价数据进行点的涂色。
python3.4 pickle 序列化大于4GB文件
此木子
05-25 2735
挑干的说 python pickle 序列化大于4GB文件，在使用python3.4以上版本时，只需要指定protocol=4关键字参数即可。其他版本需要将数据分块。 关于协议版本 pickle目前有6个不同的协议版本。越高版本的协议所需的Python版本越新。 protocol 0：是最初的协议,是“人类可读”的协议,向后兼容早期版本的Python。 protocol 1：是一个古老的二进制格式,向后兼容早期版本的Python。 protocol 2：是在Python 2.3中引入的。它提供了对新类型更
Python Pickle报：OverflowError: cannot serialize a bytes object larger than 4 GiB的解决方法
qysh123的专栏
06-04 4549
按照这里的经验 直接在pickle.dump中增加一个protocol = 4这个参数就行： import pickle pickle.dump(data,open('file','wb'),protocol = 4) 不过，具体为什么要这样做呢？可以参考一下这里： https://docs.python.org/3/library/pickle.html#data-stream-format Protocol version 0 is the original “human-read
_pickle.PicklingError: Could not serialize object: Exception:
最新发布
ngwtbt的博客
05-12 149
5、总结：pyspark中的distinct转换操作只针对一个RDD，代码模板为 RDD名.distinct() 效果为去除名为‘RDD名’的RDD中的重复值，莫要与subtract转换操作混淆，我便是因为混淆导致出错。2、错误原因：pyspark中的RDD转换操作使用错误。
【Python】记录python源码multiprocessing/reduction.py引发的问题
pangpd的博客
05-13 2541
问题描述 使用测试集在保存的模型测试最终分类精度时 test_loss, test_acc = test(test_loader, model, criterion, epoch, use_cuda) 引发异常： OverflowError: cannot serialize a bytes object larger than 4 GiB OverflowError：无法序列化大于4 GiB的字节对象。 原因 大概意思是测试集太大了，无法进行正常处理。有大佬说这是python的一个Bug（https:
Google Colab使用Tips
weixin_42441790的博客
02-02 1314
目录Google Colab介绍Google Colab的使用在Google Colab上执行AI算法的总体流程附A：挂载Google Drive硬盘的其他方法 Google Colab介绍 依据官方介绍，Google Colaboratory项目（简称Google Colab）旨在提供一个提供一个基于Jupyter的云端在线工具，帮助实现Machine Learning的教育和研究。而对于AI的...
pickle.dump()把大量数据写入文件发生MemoryError解决方法
chao_1083934282的博客
03-11 9533
跑了12个小时的代码，最后因为pickle.dump()发生MemoryError错误，实在头疼。pickle.dump()有个bug就是不能存储大量数据，所以只能用别的方法，我用的是joblib读写方式，轻松搞定，Yes! from sklearn.externals import joblib #写的方式 save_file = os.path.join(save_path, "detec...
python数据持久化方法 pickle和joblib
weixin_40818267的博客
03-14 783
scipy.io.savemat 首先上代码，用scipy.io.savemat将numpy数组持久化保存到mat文件里： scipy.io.savemat('/data/weiyuhua/AFClassification/preprocessed_data_new/data_aug_1.mat', mdict={'trainset': trainset[0:ha...
pickle.dump, protocal=-1
Breky
09-07 2071
pickle.dump(obj, file, protocal) 当参数 protocal 的值是负数， 使用最高 protocal 对 obj 压缩。 这有原文。原文
cPickle.dump作用
fangting的博客
07-25 2170
Pickle.dump(train_examples,open("train_file_baseline.pkl",mode='wb')) 指的是：example写入到pkl中 原理： （1）pickle.dump(obj, file, [,protocol]) 函数的功能：将obj对象序列化存入已经打开的file中。 2）pickle.load(file) ...
unpack requires a bytes object of length 4
xiao1_1bing的博客
10-13 3963
我遇到的是yield返回出错 解决办法： 将setting中JOBDIR哪一行注释掉
stgcn使用
Significance的博客
04-10 4733
## 四、使用 1.测评官方的xview模型 d: cd D:\st-gcn activate pytorch1.2.0 python main.py recognition -c config/st_gcn/ntu-xview/test.yaml --test_batch_size 1 --device 0 修改num_works 0 **2.训练自己的模型** ...
Multiprocessing TypeError: cannot serialize '_io.TextIOWrapper' object 的解决方法
岛的博客
03-16 7831
最近在学习 EDSR 项目的时候出现 TypeError: cannot serialize ‘_io.TextIOWrapper’ object，这个问题困扰了一天，讲下大概可能的问题所在。 我这里主要的原因还是因为在 iter(dataloader) 的时候开了多线程 (num_workers > 0)，而在data 中传入了 ckp 这个参数， _data = data.Data(ar...
成功解决ForkingPickler(file, protocol).dump(obj) TypeError: can‘t pickle Environment objects
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
05-17 2万+
​ 成功解决ForkingPickler(file, protocol).dump(obj) TypeError: can't pickle Environment objects 目录 解决问题 解决思路 解决方法(三种) T1、将队列移动到self，而不是作为函数包和send的参数 T2、multiprocessing.Manager().Queue()instead ofmultiprocessing.Queue 解决问题 ForkingPickler(file, protoco
overflowerror: cannot serialize a bytes object larger than 4 gib
06-28
### 回答1： 这个错误是由于尝试序列化一个大于4G的字节对象而引起的。这通常是因为在尝试将大型二进制文件（如视频或图像）序列化为字节对象时发生的。解决此问题的一种方法是使用分块技术将文件分成较小的块，然后将每个块序列化为字节对象。另一种方法是使用其他序列化方法，例如pickle或JSON，这些方法可以处理更大的对象。 ### 回答2： 这个错误提示意味着在尝试对一个大于4GB的bytes对象进行序列化时，Python引发了溢出错误（OverflowError）。bytes是Python中的数据类型之一，表示一系列不可变的二进制数据。 在Python中，序列化是指将对象转换为二进制数据的过程，以便在不同的应用程序之间进行传输和保存。简而言之，它是将复杂的Python对象转换为可以在网络上传输或保存在文件系统上的二进制格式的过程。 在Python中，常用的序列化库有pickle和json。然而，这些库在序列化大型对象时可能会遇到内存限制或文件大小限制的问题。在pickle中，一个对象默认情况下是被备份到内存中的，而在序列化大型对象时可能会导致内存不足。在json中，因为一个JSON对象实际上是一个字符串，所以如果一个字符串太大，也会导致溢出错误。 那么，当遇到这样的问题时，我们该如何解决呢？一种方法是使用其他支持序列化和传输大型对象的库，例如h5py和PyTables。这些库可以在将数据写入磁盘时，自动分割大型对象并将其存储为较小的块。这样，我们就可以避免内存限制和文件大小限制的问题了。 另一个方法是按需读取和处理大型对象的不同部分，而不是试图在一次性中序列化整个对象。这种方法需要一些额外的编程工作，但是可以有效地减少内存使用量并提高序列化的效率。 总结起来，当我们遇到OverflowError: cannot serialize a bytes object larger than 4 gib这个错误时，我们需要考虑使用支持序列化大型对象的库，或者尝试按需读取和处理大型对象的不同部分。这样，我们就可以避免此类错误的发生，同时确保Python代码的可靠性和可维护性。 ### 回答3： 在 Python 中，我们可以使用模块 pickle 来进行对象的序列化和反序列化。当我们需要将一个大型的 bytes 对象进行序列化的时候，可能会遇到报错信息：OverflowError: cannot serialize a bytes object larger than 4 GiB。 这个错误的意思是，当我们使用 pickle 进行序列化的时候，pickle 会尝试将对象保存在内存中，如果内存不足以容纳这个对象，就会报这个错误。在具体的实现中，pickle 会将 bytes 对象进行切片，每个切片的大小不得超过 4 GiB。这意味着如果我们需要序列化的 bytes 对象过大，就会报错。 如何避免这个错误呢？有几种方法： 1. 使用更高效的序列化模块：除了 pickle，Python 中还有一些其他的序列化模块，比如 msgpack、json、yaml 等，这些模块在处理大对象时通常比 pickle 更高效。 2. 对象分块：将大的 bytes 对象分成多个小块，每个小块都不超过 4 GiB，然后使用 pickle 分别对每个小块进行序列化。反序列化时也需要将这些小块组合起来。这种方法需要自己实现分块和组合逻辑，可能不太便利。 3. 使用文件存储：将大的 bytes 对象写入磁盘文件，然后对文件进行序列化和反序列化。这种方法需要使用 Python 的文件操作函数，可能比较麻烦，但是可以有效避免内存溢出的问题。 总之，遇到这个错误时，我们需要根据实际情况选择合适的方法来解决。当然，避免产生大型的 bytes 对象也是一个好的方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值