C++下的libtorch部署——（一）pytorch序列化

---

前言

模型部署的方式有很多，pytorch框架下有一种由官方提供的方式：使用TorchScript将pytorch训练的模型转换为C++环境支持的模型

TorchScript是一种从PyTorch代码创建可序列化和可优化模型的方法。任何TorchScript程序都可以从Python进程中保存，并加载到没有Python依赖的进程中。

---

一、TorchScript模型的两种生成方式（torch.jit.trace和torch.jit.script）

1、torch.jit.trace

（1）使用方式：给定一个模型（模型加载好已经训练完成的权值文件）和一个示例（示例大小要和模型的输入相同），进行一次forward，tracing就可以记录整个数据流，然后返回一个跟踪模型。

（2）适应场景：

• 无控制流（if/else，for loop）：torch.jit.trace方式只跟踪执行的代码，如控制流中未被执行的代码会被删除。
• 模型只为了推理：另一种方式torch.jit.script会保存完整的mode（eval/train）

代码如下（示例）：