C++中调用Pytorch模型

在C++中加载 #include <torch/script.h> 以使用 LibTorch（PyTorch 的 C++ API）时，需要进行一些设置，包括安装 LibTorch 库、配置编译器和链接器以找到库文件和头文件。

1. 下载和安装 LibTorch

首先，从 PyTorch 的官方页面下载 LibTorch。选择适合你的操作系统和编译器版本的包。下载链接可以在以下页面找到：

LibTorch 下载页面

选择 LibTorch 作为安装包类型。

2. 解压缩 LibTorch

下载完成后，解压缩文件。例如，在 Linux 或 macOS 上可以使用 tar 命令：

tar -xzf libtorch-shared-with-deps-latest.zip

在 Windows 上，使用解压工具解压到合适的目录。

3.模型训练与导出(在Python中完成)

• 首先，在Python中使用PyTorch训练你的深度学习模型。
• 然后，使用torch.jit.trace或torch.jit.script将模型转换为TorchScript模型。TorchScript是PyTorch的一种中间表示（IR），可以在不依赖Python解释器的情况下运行。

import torch

# 假设有一个已训练好的模型
model = MyModel()
model.load_state_dict(torch.load("model.pth"))
model.eval()

# 使用torch.jit.trace或torch.jit.script来转换模型
example_input = torch.randn(1, 3, 224, 224)  # 示例输入
traced_model = torch.jit.trace(model, example_input)

# 将模型保存为.pt文件
traced_model.save("traced_model.pt")

4.在C++中加载并调用模型

• 在C++中，使用LibTorch（PyTorch的C++ API）来加载和调用TorchScript模型。LibTorch是独立的C++库，不需要依赖Python环境。

#include <torch/script.h> // 引入TorchScript库
#include <iostream>
#include <memory>

int main() {
    // 加载已导出的TorchScript模型
    std::shared_ptr<torch::jit::script::Module> module = torch::jit::load("traced_model.pt");

    // 模拟输入数据，必须与模型的输入大小匹配
    std::vector<torch::jit::IValue> inputs;
    inputs.push_back(torch::randn({1, 3, 224, 224}));

    // 前向推理
    at::Tensor output = module->forward(inputs).toTensor();

    // 输出结果
    std::cout << output << std::endl;

    return 0;
}

5.构建和运行C++项目

• 使用CMake来构建项目。CMake文件需要指定LibTorch库的位置。

cmake_minimum_required(VERSION 3.0 FATAL_ERROR)
project(torchscript_example)

find_package(Torch REQUIRED)

add_executable(torchscript_example main.cpp)
target_link_libraries(torchscript_example "${TORCH_LIBRARIES}")

set_property(TARGET torchscript_example PROPERTY CXX_STANDARD 14)

• 下载并解压LibTorch，然后在终端中运行以下命令来构建和运行C++代码：

mkdir build
cd build
cmake -DCMAKE_PREFIX_PATH=/path/to/libtorch ..
make
./torchscript_example

6. 注意事项

• 模型兼容性：确保Python端和C++端使用的LibTorch版本兼容。
• 部署优化：LibTorch支持GPU加速，但你需要安装相应的CUDA版本并确保CMake配置正确。
• 错误处理：C++中的错误处理不像Python那样友好，确保在调用模型时进行充分的错误检查和日志记录。