极智AI | libtorch 调用模型推理方法

  欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享

  大家好，我是极智视界，本文介绍一下 libtorch 调用模型推理方法。

  之前写了一篇《ubuntu 安装 libtorch》，所以关于 ubuntu 上安装 libtorch 的方法，有兴趣的同学可以自行查看。libtorch 是 pytorch 的 C++ 版本，支持 CPU 端和 GPU 端的模型部署。相较于用 tensorrt 部署 pytorch 模型，用 libtorch的优势在于：pytorch 和 libtorch 同属一个生态，API 语句比较接近，并且不会出现某网络层不支持的问题。这里咱们来看一下 libtorch 怎么调用模型进行推理的。

  下面开始。

  这里咱们以 resnet50 为例。

  首先加载 resnet50 模型，并导出 trace 模型。

# 准备一个 py 脚本，里面内容如下
import tor