前言
最近需要把之前写的一套模型部署到服务器,需要从pytorch->C++,参考官方提供的方案基于libtorch1.3版本。
先列几个我觉得写的比较好的教程:
https://oldpan.me/archives/pytorch-c-libtorch-inference(这篇直接拿一整个工程讲的,很全面。)
https://pytorch.apachecn.org/docs/1.2/advanced/cpp_export.html(1.2版本example官方文档的翻译版本)
1.3版本改动导致的问题:
https://www.jianshu.com/p/186bcdfe9492(必看,因为现在1.2版本的很多教程到1.3跑都有坑)
一、下载安装Libtorch
官网下完解压就好,没踩到坑。
二、模型转换
libtorch提供了trace和script两种方式来对nn.Module进行转换,创建ScriptModule模型,得到的.pt
模型能够直接在c++程序中调用。
import torch
from XXX import Net
net = Net()
net.load_state_dict(torch.load("ModelPath", map_location="cpu"))
data = torch.rand(10, 3, 46, 22)
sc = torch.jit.trace(net, data)
sc.save("model.pt")
对于复杂模型,尤其是包含if-else各种逻辑或者非通用库的,可以参考https://blog.csdn.net/xxradon/article/details/86504906,简单sequential模型可以用上面的代码。
三、CMakeList编写
攥写内容大同小异,我参考的