使用torch.jit.trace另存模型为TorchScript格式出现的问题

问题1:
RuntimeError: 
Could not export Python function call 'Detect'. Remove calls to Python functions before export. Did you forget add @script or @script_method annotation? If this is a nn.ModuleList, add it to __constants__

字面解释:无法导出“Detect”函数,需要将其移除

解决方式:后处理过程无法被torch.jit.trace跟踪

①将后处理过程(Detect、NMS等,具体看报错的是哪个函数)从网络的forward函数中移出,可以将后处理过程单独定义一个函数,模型推理完再调用该函数进行后处理;

②检查模型导入时的设置,有些模型训练和测试调用的forward函数不同,导入模型时只需将相关参数设置成训练即可,以ssd.pytorch为例

net = build_ssd('test', 300, num_classes)#这样调用ssd模型,forward函数会调用detect后处理

只需将“test”改为“train”即可解决上述问题

问题2:[ CPUFloatType{8732,4} ]) of traced region did not have observable data dependence with trace inputs; this probably indicates your program cannot be understood by the tracer.

解决方式:检查模型forward函数的返回值是否为Tensor

像上述ssd返回的就是一个list,可以查看这几个元素的维度

可以对self.priors使用torch.unsqueeze升维为[1,8732,4],然后再利用torch.cat对这三个元素进行拼接,具体如下:

output = torch.cat(
                (loc.view(loc.size(0), -1, 4),
                conf.view(conf.size(0), -1, self.num_classes),
                torch.unsqueeze(self.priors)), dim=2)

这样ssd推理就返回了一个tensor,后续可以采用切片操作对推理结果进行后处理,具体如下:

            #后处理部分
            softmax = nn.Softmax()
            loc_prd = results[:,:,0:4]
            conf_preds = softmax(torch.squeeze(results[:,:,4:25]))
            default_boxes = torch.squeeze(results[:,:,25:29]).type(type(x.data))
            post_process = Detect()
            
            detections = post_process.apply(21, 0, 200, 0.01, 0.45, loc_prd, conf_preds, default_boxes)

  • 8
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
torch.jit.tracetorch.jit.scriptPyTorch的两种模型序列化工具,用于将PyTorch模型序列化为可保存和加载的文件格式。它们的使用方法如下: 1. torch.jit.trace torch.jit.trace用于将PyTorch模型转换为TorchScript,可以使得模型在C++中运行。使用方法如下: ```python import torch # 定义模型 class MyModel(torch.nn.Module): def __init__(self): super(MyModel, self).__init__() self.conv1 = torch.nn.Conv2d(3, 16, kernel_size=3, stride=1, padding=1) self.relu = torch.nn.ReLU() self.conv2 = torch.nn.Conv2d(16, 32, kernel_size=3, stride=1, padding=1) self.fc = torch.nn.Linear(32 * 32 * 32, 10) def forward(self, x): x = self.conv1(x) x = self.relu(x) x = self.conv2(x) x = self.relu(x) x = x.view(-1, 32 * 32 * 32) x = self.fc(x) return x # 实例化模型 model = MyModel() # 定义输入数据 input_data = torch.rand(1, 3, 64, 64) # 将模型转换为TorchScript traced_model = torch.jit.trace(model, input_data) # 保存TorchScript模型 traced_model.save('my_model.pt') ``` 2. torch.jit.script torch.jit.script用于将PyTorch模型转换为TorchScript,可以使得模型在C++中运行。使用方法如下: ```python import torch # 定义模型 class MyModel(torch.nn.Module): def __init__(self): super(MyModel, self).__init__() self.conv1 = torch.nn.Conv2d(3, 16, kernel_size=3, stride=1, padding=1) self.relu = torch.nn.ReLU() self.conv2 = torch.nn.Conv2d(16, 32, kernel_size=3, stride=1, padding=1) self.fc = torch.nn.Linear(32 * 32 * 32, 10) def forward(self, x): x = self.conv1(x) x = self.relu(x) x = self.conv2(x) x = self.relu(x) x = x.view(-1, 32 * 32 * 32) x = self.fc(x) return x # 实例化模型 model = MyModel() # 定义输入数据 input_data = torch.rand(1, 3, 64, 64) # 将模型转换为TorchScript scripted_model = torch.jit.script(model) # 保存TorchScript模型 scripted_model.save('my_model.pt') ``` 以上是torch.jit.tracetorch.jit.script使用方法。需要注意的是,如果模型使用了一些Python特性或库,如if语句、for循环等,则只能使用torch.jit.script进行转换,而不能使用torch.jit.trace

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值