Pytorch JIT 使用经验总结

最新推荐文章于 2024-06-04 17:11:45 发布
最新推荐文章于 2024-06-04 17:11:45 发布
阅读量7.8k 收藏 3
点赞数 2
分类专栏： pytorch技巧 文章标签： JIT pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xxradon/article/details/86659881
版权

注意

1. 使用CPU模式进行Trace或者jit.script正常，但是使用GPU模式确报错。

所有的torch.operator，需要传dim的。如

torch.cat(tensors, dim=0, out=None) → Tensor

传参数必要要注意，dim绝对不能** =-1 **，因为使用Trace的时候，CPU虽然可能一切正常，但是使用GPU进行Trace的时候会报错。一般会报如下错误：

torch.jit.TracingCheckError: Tracing failed sanity checks!
Encountered an exception while running the trace with test inputs.
Exception:
	vector::_M_range_check: __n (which is 18446744073709551615) >= this->size() (which is 2)
丶Shining
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Pytorch的使用总结
06-21
Pytorch的使用总结
ms_ssim_pytorch:使用pytorch jit的快速ssim和ms-ssim实现代码
05-28
如果您使用的是pytorch 1.2，请注意不要在训练循环中创建和销毁该jit模块（其他jit模块也可能会出现这种情况），这可能会导致内存泄漏。 我已经测试过pytorch 1.6没有这个问题。 我研究了piqa库的 ，这使我实现ssim...
torch.jit.trace详解
qq_44815135的博客
05-15 785
torch.jit.trace() 是 PyTorch 中用于模型跟踪（tracing）的函数。跟踪是将模型转换为 TorchScript 表示的过程，它将模型的操作序列记录下来，并生成一个可以在 TorchScript 环境下运行的优化版本。func：一个包含模型前向传播逻辑的函数，可以是模型的 forward() 方法或任何能够在输入上执行前向传播的函数。example_inputs：模型的示例输入，用于跟踪过程。它可以是单个张量、元组或列表，用于匹配模型接受的输入。
fails sanity check错误的解决方法
htrekker的博客
06-21 6320
fails sanity check的解决方法 　　问题原因：编译器缺乏必要的package： 　　解决办法：运行yum install glibc-headers gcc-c++即可解决
使用torch.jit.trace另存模型为TorchScript格式出现的问题
weixin_46986751的博客
06-04 568
②检查模型导入时的设置，有些模型训练和测试调用的forward函数不同，导入模型时只需将相关参数设置成训练即可，以ssd.pytorch为例。像上述ssd返回的就是一个list，可以改成return output[0]，返回第一个值即可解决。，可以将后处理过程单独定义一个函数，模型推理完再调用该函数进行后处理；①将后处理过程（Detect、NMS等，具体看报错的是哪个函数）从。解决方式：检查模型forward函数的返回值是否为Tensor。字面解释：无法导出“Detect”函数，需要将其移除。
Yolov5 ONNX导出报错: export failure: Unsupported ONNX opset version: 17
weixin_45303602的博客
10-06 1763
ONNX（Open Neural Network Exchange）是一个用于机器学习模型的开放式标准，它旨在使不同的深度学习框架能够将训练好的模型在不同平台上无缝运行。它是由Microsoft和Facebook等公司联合开发的一个项目。ONNX可以让你将训练好的模型从一个开发环境中导出，在另一个部署环境中无缝运行，也可以让你在不同的平台和设备之间共享模型，包括桌面设备、移动设备和云服务。
pytorch torch.jit.trace()使用模型转换要注意的问题
热门推荐
xingtianyao的博客
09-28 1万+
https://www.jianshu.com/p/8206b198533d 如果代码中有if条件控制，尽量避免使用torch.jit.trace来转换代码，因为它不能处理变化条件，如果非要用trace的话，可以把if条件控制改成别的形式，比如： def f(x): if x > 0: return False else: return True 可以改成: def f(x): return x <= 0 jit不能转换第三方Py...
PyTorch、JIT(tracing、script)、onnx
m0_60790618的博客
09-24 1077
PyTorch、JIT(tracing、script)、onnx
提前编译适用于NVIDIA GPU的TorchScript / PyTorch JIT-Python开发
05-25
用于NVIDIA GPU TRT的TorchScript / PyTorch JIT的提前编译PyTorch JIT的提前（AOT）编译TRTorch是PyTorch / TorchScript的编译器，通过NVIDIA的TensorRT深度学习优化器和运行时针对NVIDIA GPU。 与PyTorch的即时...
PyTorch详细使用方法
02-17
pytorch，PyTorch 是一个开源的深度学习框架，由 Facebook 的人工智能研究团队（现为 Meta AI）开发和维护。它在机器学习和人工智能社区中被广泛使用，尤其受到科研人员和开发者们的喜爱，因其灵活性、易用性和高效...
PyTorch安装与基本使用详解
09-16
在本文中，我们将深入探讨PyTorch的安装过程以及如何进行基本使用。 首先，为什么我们要学习PyTorch？尽管TensorFlow是另一个广泛使用的深度学习库，但许多最新的研究论文和开源实现都基于PyTorch。PyTorch因其直观...
Trace-based JIT简介(对Method JIT的改进)
08-22
IBM的一份对Method JIT和Trace JIT说明的文档。
Pytorch 高效使用GPU的操作
09-16
主要介绍了Pytorch 高效使用GPU的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
PyTorch使用技巧和教程
04-20
这部分主要讲torch.comple()函数的使用。详细介绍见: 知乎:PyTorch 2.0初探。 以下是一些测试代码，进入./compile/文件后通过python xxx.py进行运行： 运行测试简单函数: python test_simple.py 运行测试resnet50...
使用PyTorch实现图像分类
最新发布
07-01
PyTorch图像分类PyTorch图像分类PyTorch图像分类PyTorch图像分类PyTorch图像分类PyTorch图像分类PyTorch图像分类PyTorch图像分类PyTorch图像分类PyTorch图像分类PyTorch图像分类PyTorch图像分类PyTorch图像分类...
PyTorch 导数应用的使用教程
09-16
本文将深入探讨PyTorch中的导数应用及其使用方法。 首先，理解导数在机器学习中的作用至关重要。在训练神经网络时，我们的目标通常是通过反向传播算法最小化损失函数。导数在这里扮演了梯度的角色，它指示了损失...
tensorboardx当网络模型输入两个参数时add_graph()报错解决方法
wwl的博客
11-09 3186
pytorch:0.4.0 python:3.6 File "/user/files/apps/anaconda2/envs/pytorch/lib/python3.6/site-packages/tensorboardX/graph.py", line 85, in graph list_of_nodes = parse(graph) File "/user/files/apps/anacond...
torch.jit.trace 和 torch.jit.script 如何使用
04-02
torch.jit.trace和torch.jit.script是PyTorch的两种模型序列化工具，用于将PyTorch模型序列化为可保存和加载的文件格式。它们的使用方法如下： 1. torch.jit.trace torch.jit.trace用于将PyTorch模型转换为TorchScript，可以使得模型在C++中运行。使用方法如下： ```python import torch # 定义模型 class MyModel(torch.nn.Module): def __init__(self): super(MyModel, self).__init__() self.conv1 = torch.nn.Conv2d(3, 16, kernel_size=3, stride=1, padding=1) self.relu = torch.nn.ReLU() self.conv2 = torch.nn.Conv2d(16, 32, kernel_size=3, stride=1, padding=1) self.fc = torch.nn.Linear(32 * 32 * 32, 10) def forward(self, x): x = self.conv1(x) x = self.relu(x) x = self.conv2(x) x = self.relu(x) x = x.view(-1, 32 * 32 * 32) x = self.fc(x) return x # 实例化模型 model = MyModel() # 定义输入数据 input_data = torch.rand(1, 3, 64, 64) # 将模型转换为TorchScript traced_model = torch.jit.trace(model, input_data) # 保存TorchScript模型 traced_model.save('my_model.pt') ``` 2. torch.jit.script torch.jit.script用于将PyTorch模型转换为TorchScript，可以使得模型在C++中运行。使用方法如下： ```python import torch # 定义模型 class MyModel(torch.nn.Module): def __init__(self): super(MyModel, self).__init__() self.conv1 = torch.nn.Conv2d(3, 16, kernel_size=3, stride=1, padding=1) self.relu = torch.nn.ReLU() self.conv2 = torch.nn.Conv2d(16, 32, kernel_size=3, stride=1, padding=1) self.fc = torch.nn.Linear(32 * 32 * 32, 10) def forward(self, x): x = self.conv1(x) x = self.relu(x) x = self.conv2(x) x = self.relu(x) x = x.view(-1, 32 * 32 * 32) x = self.fc(x) return x # 实例化模型 model = MyModel() # 定义输入数据 input_data = torch.rand(1, 3, 64, 64) # 将模型转换为TorchScript scripted_model = torch.jit.script(model) # 保存TorchScript模型 scripted_model.save('my_model.pt') ``` 以上是torch.jit.trace和torch.jit.script的使用方法。需要注意的是，如果模型中使用了一些Python特性或库，如if语句、for循环等，则只能使用torch.jit.script进行转换，而不能使用torch.jit.trace。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值