Pytorch的C++调用（libtorch+opencv），肺分割模型实例

最新推荐文章于 2024-08-05 15:23:52 发布
最新推荐文章于 2024-08-05 15:23:52 发布
阅读量1.4k 收藏 31
点赞数 1
文章标签： pytorch 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mmmkl1/article/details/118522533
版权
本文详细介绍了如何将训练好的PyTorch模型转换为C++接口，包括Python中模型的加载、追踪、保存，以及C++中模型的加载、图片预处理和预测。通过这种方式，可以将Python模型集成到C++项目中，实现高效运行的本地化应用。
摘要由CSDN通过智能技术生成

Pytorch C++接口调用方法

文章目录

0 引言：

​ Python具有丰富的人工智能开发资源库，且基本上都是开源易获得的，极大的方便了人工智能开发者进行 研究工作。例如实现一整套深度学习算法，用C++编写需要写上千行，在python中只需要几十行。且在数据清洗、特征选取、模型优化和超参数设置等工作进行时，如果使用C++来实现会浪费大量的时间在编写和调试代码上。而Python作为一门解释型语言，编程时更加灵活，结合可视化工具可以方便人工智能开发者在开发的任何阶段灵活调整参数并实时运行，使开发者能专注于自身领域的内容。

​ 但也是由于Python作为一门解释型语言，在运行时往往会有较慢的运行速度，如果要将Python语言编写的程序封装成电脑可以直接运行的可执行文件要将Python解释器和庞大的库一起打包，往往会具有较大的体积，这在实际的工程运用上是难以容忍的。因此，要让人工智能项目落地，将其转换成编译型语言代码，是十分有必要的。以下为Pytorch的C++工程化方法。**

1 Python部分

在工程化工作开始前，要准备好自己的训练网络和已经训练好的模型。训练时通常将模型保存为.pth格式，我们需要将其转换成C++可以加载的.pt格式。

1.1 训练网络加载

加载.pth模型训练时使用的网络，这里使用了git-hub上高星的segmentation_models_pytorch库。可以按照自己的训练网络进行更改。

import torch
import segmentation_models_pytorch as smp

model = smp.Unet(
        decoder_channels=(512, 256, 128, 64, 32),
        in_channels=3,
        activation='sigmoid',
    )

1.2 模型加载

将训练好的模型加载进网络，模型的模式设置为eval模式。有cuda的设备可以使用cudu读取模型。

checkpoint = torch.load(r"D:/data/unet/pytorch/beta1/best_model_1.pth",map_location=torch.device('cpu'))
#checkpoint = torch.load(r"D:/data/unet/pytorch/beta1/best_model_1.pth",map_location=torch.device('cuda')) 
model.load_state_dict(checkpoint.state_dict())
model.eval()

Notes：模型有两种模式，model.train()和model.eval()，前者用于模型训练会启用Batch Normalization和Dropout，后者用于预测即用于验证、测试和预测，会关闭Batch Normalization和Dropout，以保证预测结果的一致性。

1.3 模型追踪

使用**torch.jit.trace()**追踪模型对张量的操作。需要给定一个与输入网络形状一样的示例张量，随机生成一个就行。

example = torch.rand(1,3,512,512)
traced_script_module = torch.jit.trace(model,example)

Notes: 个人理解。张量在模型里的变化是很复杂的，很难用函数和逻辑关系表达和转换模型，但是追踪张量的变化是比较简单的。网络就犹如火车轨道网络，经过训练得到模型，可以指导火车在轨道网络里具体的哪条轨道里的运行。如果轨道网络比较简单，取个极限就只有一条火车道，那么火车只需要沿着这一条轨道就能到达目的地，相当于张量只需要经过一个函数关系运算就能得到结果。但现在的神经网络内部结构十分复杂，这样这个火车轨道就被铺的丛横交错，同样要达到目的地，要经过成百上千次变轨，如果还用指定线路的方式去引导火车运行，就要指定若干复杂的路线。所以这时候指定火车运行路线的方式就不如直接追踪火车是怎么运行的，可以让火车以模型的方式在火车轨道网络里运行，追踪火车的运行状态，可以记录的指标有很多，速度、加速度、什么时候换轨、什么时候并轨等等，并将火车运行的变化状态记录下来，就可以指导其他火车在轨道网络里运行。

1.4 模型保存

将转换的script_module保存成.pt格式

traced_script_module.save("torch_script_eval.pt")

2 C++部分

2.0 必要库准备

这里使用了opencv4.3和LibTorch 1.81 CPU debug版本opencv需要有vc14运行实况。

在这里插入图片描述
在这里插入图片描述

2.1 VS工程建立

2.1.1 建立一个空项目

configuration 设置为debug x64模式

在这里插入图片描述
在这里插入图片描述

2.1.2 包含目录以及库配置

包含目录配置

添加libtorch和opencv对应的include目录

在这里插入图片描述
在这里插入图片描述

库目录配置

添加libtorch和opencv对应的lib目录

在这里插入图片描述
在这里插入图片描述

附加依赖项配置

连接所需的lib目录
在这里插入图片描述

在这里插入图片描述

可直接复制粘贴（cuda版本需自己另外配置）

opencv_world430d.lib
c10d.lib
c10.lib
torch.lib
torch_cpu.lib
fbgemm.lib
caffe2_detectron_ops.lib
caffe2_module_test_dynamic.lib
cpuinfo.lib

添加所需dll

（1）opencv类

./opencv/build/x64/vc14/bin 目录下的 opencv_world430d.dll

（2）libtorch类

./libtorch/lib目录下的 c10.dll torch_cpu.dll libiomp5md.dll fbgemm.dll asmjit.dll

将上述dll复制到工程对应的configuration目录

在这里插入图片描述

2.1.3 添加头文件

在这里插入图片描述

DemoPytorch.h代码

#pragma once

#include <iostream>

2.2 简单实现代码

2.2.1 引用的头文件
#include "DemoPytorch.h"
#include <iostream>
#include <memory>
#include <algorithm>
#include <stdio.h>
#include <opencv2/core.hpp>
#include <opencv2/opencv.hpp>
#include <torch/torch.h>
#include <torch/script.h>
2.2.2 模型加载

按照pytorch官方提供的模型加载方法

需要用CUDA版本修改注释部分

torch::jit::script::Module module;
	try {
		module = torch::jit::load("./torch_script_eval.pt");
		module.to(torch::kCPU);  // set model to cpu mode
		/*module.to(torch::kCUDA);*/  // set model to cuda mode
		module.eval();
		std::cout << "MODEL LOADED";
	}
	catch (const c10::Error& e) {
		std::cerr << "error loading the model\n";
	}
2.2.3 读取图片并进行格式转换

如果需要展示原图需要拷贝一份图片，因为进行数据操作的时候是直接在内存地址上进行的会更改原有的内存数据。

**Notes：**libtorch库提供了和pytorch使用方式基本一致的张量运算，适用广播机制，可以用于预加载训练数据。

    // load img
	cv::Mat img_original = cv::imread("./00011584_002.png",0);
	cv::Mat img = cv::Mat(img_original);
	// normalize
	cv::resize(img, img, cv::Size(512, 512));
	img.convertTo(img, CV_32FC1);
	// img to tensor
	torch::Tensor mean = torch::tensor({ 0.485,0.456,0.406 });
	torch::Tensor std = torch::tensor({ 0.229, 0.224, 0.225 });
	auto input_tensor = torch::from_blob(img.data, { 512,512,1 });
	input_tensor = input_tensor / 255.0f;
	input_tensor = input_tensor - mean;
	input_tensor = input_tensor / std;
	input_tensor = input_tensor.permute({ 2,0,1 });
	input_tensor = input_tensor.to(torch::kCPU);
	/*input_tensor = input_tensor.to(torch::kCUDA);*/
	input_tensor = input_tensor.unsqueeze(0);
	std::vector<torch::jit::IValue> input;
	input.push_back(input_tensor);
2.2.4 进行模型预测并显示结果

调用模型的forward方法进行预测，并用detach方法将结果取出，如果张量在CUDA上计算需要进行to(torch::kCPU)将结果转换回CPU类型。

    // pred begin
	auto pred = module.forward(input).toTensor();
	// pred tensor to mat
	pred = pred.squeeze().detach();
	pred = pred * 255;
	pred = pred.to(torch::kU8);
	pred = pred.to(torch::kCPU);
	cv::Mat output_mat(cv::Size{ 512,512 }, CV_8UC1, pred.data_ptr());
	// show result
	cv::imshow("original img", img_original);
	cv::imshow("mask", output_mat);
	cv::waitKey(0);
	cv::destroyWindow("original img");
	cv::destroyWindow("mask");

结果展示：

在这里插入图片描述

2.2.5 整体代码

DemoPytorch.cpp代码

#include "DemoPytorch.h"
#include <iostream>
#include <memory>
#include <algorithm>
#include <stdio.h>
#include <opencv2/core.hpp>
#include <opencv2/opencv.hpp>
#include <torch/torch.h>
#include <torch/script.h>

int main() {
	// load model
	torch::jit::script::Module module;
	try {
		module = torch::jit::load("./torch_script_eval.pt");
		module.to(torch::kCPU);  // set model to cpu mode
		/*module.to(torch::kCUDA);*/  // set model to cuda mode
		module.eval();
		std::cout << "MODEL LOADED";
	}
	catch (const c10::Error& e) {
		std::cerr << "error loading the model\n";
	}

	// load img
	cv::Mat img_original = cv::imread("./00011584_002.png",0);
	cv::Mat img = cv::Mat(img_original);
	// normalize
	cv::resize(img, img, cv::Size(512, 512));
	img.convertTo(img, CV_32FC1);
	// img to tensor
	torch::Tensor mean = torch::tensor({ 0.485,0.456,0.406 });
	torch::Tensor std = torch::tensor({ 0.229, 0.224, 0.225 });
	auto input_tensor = torch::from_blob(img.data, { 512,512,1 });
	input_tensor = input_tensor / 255.0f;
	input_tensor = input_tensor - mean;
	input_tensor = input_tensor / std;
	input_tensor = input_tensor.permute({ 2,0,1 });
	input_tensor = input_tensor.to(torch::kCPU);
	/*input_tensor = input_tensor.to(torch::kCUDA);*/
	input_tensor = input_tensor.unsqueeze(0);
	std::vector<torch::jit::IValue> input;
	input.push_back(input_tensor);
	// pred begin
	auto pred = module.forward(input).toTensor();
	// pred tensor to mat
	pred = pred.squeeze().detach();
	pred = pred * 255;
	pred = pred.to(torch::kU8);
	pred = pred.to(torch::kCPU);
	cv::Mat output_mat(cv::Size{ 512,512 }, CV_8UC1, pred.data_ptr());
	// show result
	cv::imshow("original img", img_original);
	cv::imshow("mask", output_mat);
	cv::waitKey(0);
	cv::destroyWindow("original img");
	cv::destroyWindow("mask");

	return 0;
}
mmmkl1
关注
Pytorch的C++接口实践
生如蚁，美如神
08-06 2万+
Pytorch1.1版本已经提供了相对稳定的c++接口，网上也有了众多的资料供大家参考，进行c++的接口的初步尝试。 可以按照对应的选项下载，下面我们要说的是： 如何利用已经编译好的官方libtorch库和其他的opencv库等联合编写应用？ 其实很简单，大概的步骤有三步： 第一步：在python环境下将模型导出为jit的模型 第二步：编写对应的c++ inference 程序。 ...
Ubuntu下C++调用pytorch训练好模型--利用libtorch
qq_36481821的博客
07-22 3576
最近因项目需要，需C++调用pytorch模型，以下是一些学习心得，把过程记录下来。 搭建有以下几个流程： 官网下载库libtorch pytorch模型转化 编写C++调用程序 一、官网下载库libtorch 下载libtorch地址(https://pytorch.org/get-started/locally/），选择对应版本（根据自身电脑配置），比如我是Ubuntu+CUDA 10.2 下载好之后，选择路径进行解压（注意自己下载的包），命令如下： unzi
Pytorch中调用C++（踩坑无数总结篇）
Ray_mond_的博客
08-18 5008
绪论 Pytorch中为什么会调用C++呢？目前来说，本人遇到的情况有两种： 为了 提高运算速度，C++偏向于底层，运算速度更快（相对于Python至少提升10倍）； Pytorch中的内置函数不能满足自己想要实现的算法，不得不自己写code实现（我就是这种，好惨啊）。而且更重要的是，Pytorch的底层是C++（逐渐从c向C++转），所以你不得不学一手C++。 运行环境 个人的一点小体会，如果你刚开始上手学习深度学习，不管是Pytorch还是Tensorflow，在windows下学习运行就可以。但是
import torch 报错：WinError 126
最新发布
ITW123的博客
08-05 2041
考虑到可能是依赖有所缺失，而Visual Studio相比VS code是同系列更全面完整的应用(注意Visual Studio和VS code是两个不同的应用程序)，因此下载VS可能能够包含缺失的依赖；中下载Dependencies_x64_Release.zip(对于64位电脑)并解压(我放在D盘)，使用文件夹中的DependenciesGui.exe打开fbgemm.dll，图中标红所示为缺失的依赖名称，我所缺失的依赖是libomp140.x86_64.dll。结果未解决，说明不是下载库的问题。
使用pytorch实现python调用c++
Hyellice的博客
03-31 1630
使用pytorch的pybind11实现c++扩展的简单调用 1、首先使用c++实现需要的功能，以简单加法和乘法为例： // 本文件名为test.cpp #include <iostream> #include <torch/torch.h> using namespace std; int add(int i, int j){ return i + j; }...
PyTorch C++ API 是 PyTorch 的一个接口，它允许开发者使用 C++ 语言进行深度学习开发
博客域名:borter.blog.csdn.net
02-22 692
5. **深度学习算法库**：PyTorch C++ API 集成了许多深度学习算法库，如 torchvision 和 torchtext，这使得你可以方便地使用这些库来进行图像和文本处理。1. **自定义设备支持**：PyTorch C++ API 支持在各种设备（如 CPU、GPU）上进行计算，而且你可以轻松地自定义设备来执行计算，这大大提高了计算效率和灵活性。3. **自定义数据加载**：PyTorch C++ API 提供了灵活的数据加载接口，你可以自定义数据加载器以满足你的特定需求。
PyTorch C++ 前端是 PyTorch 机器学习框架的纯 C++ 接口
yanglamei1962的博客
06-24 2431
现在我们已经配置了基本环境，我们可以深入研究本教程中更有趣的部分。首先，我们将讨论如何在 C++ 前端中定义模块并与之交互。我们将从基本的小规模示例模块开始，然后使用 C++ 前端提供的广泛的内置模块库来实现全面的 GAN。N , M }));就像在 Python 中一样，我们定义了一个名为Net的类（为简单起见，这里是struct而不是class），然后从模块基类派生它。在构造器内部，我们使用创建张量，就像在 Python 中使用一样。一个有趣的区别是我们如何注册参数。
libtorch 调用训练好的实例分割模型进行预测
09-08
要使用libtorch进行实例分割模型的预测，首先需要加载训练好的模型。可以使用torch::jit::load函数加载PyTorch模型的序列化文件，将其加载到libtorch中。 加载模型之后，需要预处理输入图像。实例分割模型通常需要...
opencv部署DBNet文字检测包含C++和Python两种版本的实现源码+模型+说明.zip
05-02
在Python环境下，可以使用`cv2.dnn.readNet`加载模型，`cv2.dnn_DetectionModel`创建检测模型实例，然后调用`detect`方法进行文字检测。 在实际部署时，需注意以下几点： 1. 数据预处理：根据DBNet模型的要求对输入...
基于paddleocr+onnxruntime实现车牌识别C++源码+模型.zip
05-09
- C++与PaddleOCR接口交互：利用Paddle提供的C++库，构建C++程序来调用OCR模型进行预测。 - ONNX模型加载与运行：掌握ONNXRuntime的API，正确加载模型并执行推理任务。 - 图像处理库：可能需要OpenCV或其他图像...
面向所有人的PyTorch教程的C ++实现-C/C++开发
05-26
适用于深度学习研究者的PyTorch教程的C ++实现适用于深度学习研究者的PyTorch教程OS（编译器）\ libtorch 1.4 1.5每晚macOS（clang 9.1）macOS（clang 10.0）macOS（clang 11.0）Linux（gcc 5）Linux（gcc 6）Linux（gcc 7）Linux（gcc 8）此存储库提供C ++教程代码，供深度学习研究人员学习PyTorch。 Python教程：https://github.com/yunjey/pytorch-tutorial入门要求C ++ CMake LibTorch v1.4.0 Fork / Clone
ONNXRuntime部署PicoDet目标检测包含C++和Python源码+模型+说明.zip
05-02
3. **预处理**：与C++类似，但Python可能有更多的图像处理库可供选择，如OpenCV。 4. **推理**：`session.run()`执行模型，返回预测结果。 5. **解码输出**：处理输出张量，提取边界框和类别信息。 6. **可视化**：...
PyTorch C++ API
wolaiyeptx的博客
12-01 2732
这些页面提供了 PyTorch C++ API 公共部分的文档。这个 API 大致可以分为五个部分： ATen: 构建所有其他内容的基础张量和数学运算库。 Autograd: 通过自动微分增强 ATen。 C++ Frontend: 用于训练和评估机器学习模型的高级构造。 TorchScript: TorchScript JIT 编译器和解释器的接口。 C++ Extensions: 一种使用自定义 C++ 和 CUDA 例程扩展 Python API 的方法。 结合起来，这些构建块形成了一个研究和生产
【pytorch】将模型部署至生产环境：借助TensorRT 8完成代码优化及部署（二）：C++接口实现
种一棵树最好的时间是十年前，其次是现在
05-13 1238
python接口的实现及说明详见：【pytorch】将模型部署至生产环境：借助TensorRT 8完成代码优化及部署（一）：python接口实现 （一）转换思路及模型准备： 转换思路为：pytorch -> onnx -> onnx2trt -> TensorRT 其中pytorch -> onnx详见上一篇博文。 （二）onnx2trt： bool SampleOnnxMNIST::constructNetwork(SampleUniquePtr<nvinfer1::IBu
在 C++ 中使用 PyTorch
程序猿视角
05-22 2513
PyTorch 提供了 C++ 前端 API 接口，可以直接在 C++ 中使用 PyTorch 的相关功能。您可以使用 C++ API 在 C++ 代码中构建、训练和部署深度学习模型。6.使用 C++ API 加载和运行 Torch Script 模型或使用 ONNX Runtime 加载和运行 ONNX 模型。上述代码实现了一个使用 C++ API 训练 MNIST 数字识别模型并在每 100 批次后输出损失值的示例。4.在训练周期中使用 C++ API 优化模型。
使用 PyTorch C ++前端
yanglamei1962的博客
08-30 369
现在我们已经配置了基本环境，我们可以深入研究本教程中更有趣的部分。首先，我们将讨论如何在 C ++前端中定义模块并与之交互。我们将从基本的小规模示例模块开始，然后使用 C ++前端提供的广泛的内置模块库来实现完整的 GAN。就像在 Python 中一样，我们定义了一个名为Net的类(为简单起见，这里是struct而不是class），然后从模块基类派生它。在构造函数内部，我们使用创建张量，就像在 Python 中使用一样。一个有趣的区别是我们如何注册参数。在 Python 中，我们用。
pytorch与c++
lzAllen的博客
10-30 467
1. C++与Linux学习 经验总结：超详细的 Linux C/C++ 学习路线！大厂面试指南 2.深度学习 与 C++ 的爱恨情仇 https://github.com/BIGBALLON/PyTorch-CPP window10下c++接口的opencv的安装与使用: OpenCV学习笔记（一） OpenCV简介及安装 ...
PyTorch中构建和调用C++/CUDA扩展
wolaiyeptx的博客
11-30 3462
翻译至PyTorch官方教程 C++ 扩展有两种形式：它们可以使用 setuptools“提前”构建，或者通过 torch.utils.cpp_extension.load()“及时”构建。 我们将从第一种方法开始，稍后讨论后者。 使用setuptools构建 对于“提前”风格，我们通过编写 setup.py 脚本来构建我们的 C++ 扩展，该脚本使用 setuptools 编译我们的 C++ 代码。 对于 LLTM，它看起来很简单： from setuptools import setup, Extens
使用 PyTorch C++ 前端
wolaiyeptx的博客
11-30 2844
使用 PyTorch C++ 前端 PyTorch C++ 前端是 PyTorch 机器学习框架的纯 C++ 接口。 虽然 PyTorch 的主要接口是 Python，但 Python API 位于大量 C++ 代码库之上，提供基础数据结构和功能，例如张量和自动微分。 C++ 前端公开了一个纯 C++11 API，它使用机器学习训练和推理所需的工具扩展了这个底层 C++ 代码库。 这包括用于神经网络建模的内置通用组件集合； 使用自定义模块扩展此集合的 API； 流行的优化算法库，例如随机梯度下降； 一个带有
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值