torch序列化 pickle 慢

最新推荐文章于 2024-04-02 09:28:13 发布
最新推荐文章于 2024-04-02 09:28:13 发布
阅读量2.8k 收藏
点赞数
分类专栏： pytorch知识宝典
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jacke121/article/details/85224465
版权
该博客探讨了使用pickle序列化和反序列化torch张量的性能问题。在测试中，100张图片的反序列化用时1秒，而300张图片则耗时3秒。文章通过示例代码展示了操作过程，并对比了redis存储的数据读写速度。
摘要由CSDN通过智能技术生成

100张图片 反序列化需要1s，300张需要3s

#coding=utf-8
import time
import numpy as np
import redis
import cv2 as cv
import pickle

import torch

pool = redis.ConnectionPool(host='localhost', port=6379, db=0)
r = redis.StrictRedis(connection_pool=pool)

x = torch.rand(1, 3, 352, 352)


for i in range(3):
    r.set(i,pickle.dumps(x))

start = time.time()
for i in range(100):
    b = r.get(1)
    b=pickle.loads(b)
    # print(b.type)

print('time',time.time()-start)
#
# for i in range(100):
#     data = np.arange(1000 * 4000, dtype='float').reshape(1000, 4000)
#     t1=time.ti

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI算法网奇
关注
专栏目录
订阅专栏
torch序列化
jacke121的专栏
11-22 2559
同一张文件需要7ms左右： import time import torch import torch.nn.functional as f if __name__ == '__main__': for i in range(200): x = torch.rand(1, 3, 1280, 720) # torch.set_num_threads(3) ...
Torch7学习笔记（三）Sequencialization
ahaha1212的博客
09-21 111
1.序列化 Torch提供4种高级方法来序列化或者反序列化任意Lua/Torch对象。这些方法都是从File对象抽象出来的，为了方便操作而创建。 前两种方法用来从文件序列化或者反序列化的： torch.save(filename,object [, format]) [object] torch.load(filename [, format]) 下面两个函数是从字...
PyTorch-1.10(四)--torch序列化、线程和禁用启用梯度计算
Hanscal
05-10 562
序列化 save 将对象保存到磁盘文件。 load ​ 从文件中加载用torch.save()保存的对象 线程数 get_num_threads 返回用于并行化CPU操作的线程数 set_num_threads 设置CPU上用于操作内并行的线程数。 get_num_interop_threads 返回CPU上用于操作间并行
Python序列化---Pickle模块【大量数据的情况下，如何提高Python读写数据的速度？】...
Blank_Space
05-27 4935
点击上方“潜心的Python小屋”关注我们，第一时间推送优质文章。前言大家好，我是潜心。最近在复现2018年阿里提出的CTR预估模型---DIN，关于原生数据的处理以及数据集的构建，因为...
从pickle格式minist数据集处理到测试准确率
sucijingdi的博客
05-25 642
# pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple [pkgname] import pickle import torch from torch import nn import torch.nn.functional as fun import torch.optim as optim from skimage import i...
python在使用pickle反序列化时报错：数据被截断，无法进行反序列化
qq_42816922的博客
12-05 5391
python的序列化和反序列化之pickle pickle模块实现了用于序列化和反序列化Python对象结构的二进制协议。 “Pickling”是将Python对象层次结构转换为字节流的过程， “unpickling”是反向操作，从而将字节流（来自二进制文件或类似字节的对象）转换回对象层次结构。 pickle是python特有的，只能用于python，不能拓展到其他语言，序列化的结果是字节类型，也可以在协议选项中选择二进制；json则类似于一种通用的模块，在其他语言中也可正常使用，序列化的结果是字符串。 p
Python使用pickle模块存储数据报错解决示例代码
12-25
pickle模块只能在python中使用，python中几乎所有的数据类型（列表，字典，集合，类等）都可以用pickle来序列化， pickle序列化后的数据，可读性差，人一般无法识别。 接下来我们看下Python使用pickle模块存储数据...
开源AI模型序列化总结
关注AI/ML模型上线、模型部署
11-23 814
模型序列化是模型部署的第一步，如何把训练好的模型存储起来，以供后续的模型预测使用，是模型部署的首先要考虑的问题。本文主要罗列当前流行开源模型不同序列化方法，以供查阅参考。
torch.load() 及 torch.save() 总结
曾星的博客
03-27 4029
1. torch.load() 需要用到的一些概念的定义 torch: 是pytorch里的一个包，包括了张量(tensor) 的数据结构以及对其的操作 pickle 模块: 实现了对一个 Python 对象结构的二进制序列化(pickling)和反序列化(unpickling)。 pickling: 是一个把Python对象转化成一个字节流的过程。也可称为序列化(serialization)、编组(marshalling)；而相对应反向操作unpickling是将一个字节流转化成一个pytho
Python —— pickle序列化(大量数据提高python读写速度)(pkl文件)
hxxjxw的博客
07-14 5205
当大量数据的时候，保存成pkl序列化文件的格式，能够加快python的读写速度 pickle的功能就是把你上次计算得到的数据保存起来，当你需要使用这些数据时，直接通过load将数据进行恢复，这样的好处有： 不需要重新去计算得到数据，节省计算机资源； 可以更好的被内存调用，不需要经过数据格式的转换，提高效率；【直接保存为其他格式，如txt、csv的数据读写速度都不如序列化后的数据（字节流）】 pickle可以保存多个对象。实验中，同一数据集下需要保存的内容不止............
【关于torch.save和pickle.dump保存网络结构的方法】
Bobo__wang的博客
11-02 502
本片文章主要介绍通过torch.save和pickle.dump保存网络结构的两种方式以及其中的区别。
pickle.dump与troch.dump的异同点
最新发布
Xiang_bin_bin的博客
04-02 292
pickle对.pt、.onnx、.trt、.pth、.pth.tar、.pkl模型的支持
torch常用指令——预训练模型篇
weixin_43702653的博客
07-21 3308
torch常用指令——预训练模型篇
动态学习函数和优化器保存方式
lcomecon的博客
04-26 265
保存类或者模型时，个人比较懒，不太喜欢那种save model.state_dict， load_state_dict 的方式，尤其对于后续不太会修改的类和模型时，就喜欢野蛮粗暴的torch.save(model or class, fw), torch.load(model or class)，现在需要在保存模型的时候，把step，优化器状态和学习率的状态都保存下来，代码如下： if args.local_rank == args.calc_rank: ### 测试是否可以保存
详解python中pickle模块的一些函数
gaishi_hero的博客
08-24 6169
pickle模块是python中用来讲Python对象序列化和解序列化的一个工具。“pickling”是将Python对象转化为字节流的过程，而“unpickling”是相反的过程（将来自“binary file或bytes-like object”的字节流反转为对象的过程）。 5种协议 Protocol version 0 是最原始一种协议，它向后与以前的Python版本兼容。...
【python】数据文件的读写操作1-Pickle模块
s1k9y9的博客
10-27 3502
本文简述pickle模块如何处理数据，及与json、numpy对比
Pytorch——模型的读取和存储
phacpf123
07-19 3277
Pytorch 模型的保存与加载
torch 函数整理
ningchewinbell的博客
06-03 7359
torch.nn.Conv2d torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True) 卷积操作，输入矩阵大小 (N, Cin, H, W)，输入矩阵大小N, Cout, Hout, Wout) 参数说明 in_channels ...
transforms.multiprocessing(lambda x: x + torch.randn_like(x) * 0.1), transforms.Lambda(lambda x: torch.clamp(x, 0, 1))怎么序列化
05-10
这两个 `transforms` 都包含了函数式变换，需要进行序列化的话，可以使用 `pickle` 库进行序列化和反序列化。 举个例子，如果你需要将这两个 `transforms` 序列化，可以按照以下步骤进行： ```python import pickle import torch import torchvision.transforms as transforms # 定义 transforms transform = transforms.Compose([ transforms.ToTensor(), transforms.multiprocessing(lambda x: x + torch.randn_like(x) * 0.1), transforms.Lambda(lambda x: torch.clamp(x, 0, 1)) ]) # 序列化 transforms serialized_transform = pickle.dumps(transform) # 反序列化 transforms deserialized_transform = pickle.loads(serialized_transform) ``` 以上代码中，`pickle.dumps()` 函数将 `transform` 序列化为一个二进制字符串，`pickle.loads()` 函数将该字符串反序列化为一个新的 `transforms` 对象 `deserialized_transform`。 需要注意的是，`pickle` 库只能序列化可序列化的对象，如果 `transforms` 中包含了不可序列化的对象，比如函数、Lambda、以及一些 C 语言扩展等，那么序列化过程就会出现错误。在这种情况下，你可以考虑使用其他序列化库，比如 `dill` 库，它可以序列化更多类型的 Python 对象。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值