Pytorch转onnx、torchscript

前言

        本文将介绍如何使用ONNX将PyTorch中训练好的模型(.pt、.pth)型转换为ONNX格式，然后将其加载到Caffe2中。需要安装好onnx和Caffe2。

PyTorch及ONNX环境准备

1. 为了正常运行ONNX，我们需要安装最新的Pytorch,你可以选择源码安装：

git clone --recursive https://github.com/pytorch/pytorch
cd pytorch
mkdir build && cd build
sudo cmake .. -DPYTHON_INCLUDE_DIR=/usr/include/python3.6  -DUSE_MPI=OFF
make install
export PYTHONPATH=$PYTHONPATH:/opt/pytorch/build

其中 "/opt/pytorch/build"是前面build pytorch的目。
or conda安装

conda install pytorch torchvision -c pytorch

2. 安装ONNX的库

conda install -c conda-forge onnx

3. onnx-caffe2 安装

pip3 install onnx-caffe2

Pytorch模型转onnx

         在PyTorch中导出模型通过跟踪工作。要导出模型，请调用torch.onnx.export()函数。这将执行模型，记录运算符用于计算输出的轨迹。因为_export运行模型，我们需要提供输入张量x。这个张量的值并不重要; 它可以是图像或随机张量，只要它是正确的大小。更多详细信息，请查看torch.onnx documentation文档。

# 输入模型
example = torch.randn(batch_size, 1, 224, 224, requires_grad=True)

# 导出模型
torch_out = torch_out = torch.onnx.export(model,   # model being run
                                          example, # model input (or a tuple for multiple inputs)
                                          "peleeNet.onnx",
									      verbose=False,  # store the trained parameter weights inside the model file
									      training=False,
					                      do_constant_folding=True,
					                      input_names=['input'],
					                      output_names=['output'])     

         其中torch_out是执行模型后的输出，通常以忽略此输出。转换得到onnx后可以使用OpenCV的 cv::dnn::readNetFromONNX or cv::dnn::readNet进行模型加载推理了。

还可以进一步将onnx模型转换为ncnn进而部署到移动端。这就需要ncnn的onnx2ncnn工具了.
。

1. 编译ncnn源码，生成 onnx2ncnn。
2. 其中onnx转换模型时有一些冗余，可以使用用工具简化一些onnx模型。

pip3 install onnx-simplifier

3. 简化onnx模型

python3 -m onnxsim pnet.onnx pnet-sim.onnx

4. 转换成ncnn

onnx2ncnn pnet-sim.onnx pnet.param pnet.bin

5. ncnn 加载模型做推理

Pytorch模型转torch script

pytorch 加入libtorch前端处理，集体步骤为：

以mtcnn pnet为例

# convert pytorch model to torch script
# An example input you would normally provide to your model's forward() method.
example = torch.rand(1, 3, 12, 12).to(device)
# Use torch.jit.trace to generate a torch.jit.ScriptModule via tracing.
traced_script_module = torch.jit.trace(pnet, example)
# Save traced model
traced_script_module.save("pnet_model_final.pth")

C++调用如下所示：

#include <torch/script.h> // One-stop header.
#include <iostream>
#include <memory>
int main(int argc, const char* argv[]) 
{
  if (argc != 2) 
  {
    std::cerr << "usage: example-app <path-to-exported-script-module>\n";
    return -1;
  }

  // Deserialize the ScriptModule from a file using torch::jit::load().
  std::shared_ptr<torch::jit::script::Module> module = torch::jit::load(argv[1]);

  assert(module != nullptr);
  std::cout << "ok\n";
}

CMakeLists.txt

cmake_minimum_required(VERSION 3.0 FATAL_ERROR)
project(custom_ops)

find_package(Torch REQUIRED)

add_executable(example-app example-app.cpp)
target_link_libraries(example-app "${TORCH_LIBRARIES}")
set_property(TARGET example-app PROPERTY CXX_STANDARD 14)

build

cd build
cmake -DCMAKE_PREFIX_PATH=/path/to/libtorch ..
cmake --build . --config Release