Pytorch网络训练模型转成C++推理执行

最新推荐文章于 2023-09-18 19:28:44 发布
最新推荐文章于 2023-09-18 19:28:44 发布
阅读量3.5k 收藏 19
点赞数 1
分类专栏： 显著性检测 学习笔记 文章标签： 深度学习 c++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/librahfacebook/article/details/109990847
版权

显著图推理模型C++转换

显著性检测网络模型是基于PyTorch深度学习框架进行搭建并参与训练的，在实际应用和生产中，由于要满足低延迟和严格部署要求，通常选用C++来进行推理过程。这里的显著图推理模型C++转换过程主要由以下几个步骤组成：将PyTorch网络模型转换为Torch Script，并序列化为一个文件；配置编译运行环境，在C++中加载模型参数，完成推理任务。

系统环境（Windows）
  1. 电脑系统版本：Windows 10
  2. 显卡版本：GeForce RTX 2070(显存8192MB)
  3. 编译器：Visual Studio 2019 Community
  4. GCC版本：8.1.0
  5. CMake版本：3.18.2
  6. CUDA版本：10.1，V10.1.243
  7. cuDNN版本：cuDNN v8.0.2 for CUDA 10.1
  8. PyTorch版本：Stable(1.6.0)
  9. LibTorch-gpu版本：https://download.pytorch.org/libtorch/cu101/libtorch-win-shared-with-deps-1.6.0%2Bcu101.zip
  10. LibTorch-cpu版本：https://download.pytorch.org/libtorch/cpu/libtorch-win-shared-with-deps-1.6.0%2Bcpu.zip
  11. OpenCV版本：https://sourceforge.net/projects/opencvlibrary/files/4.4.0/opencv-4.4.0-vc14_vc15.exe/download
系统环境（Linux）
  1. Linux系统版本：Ubuntu 19.10
  2. 显卡版本：TITAN RTX(显存24217MB)
  3. GCC版本：gcc (Ubuntu 7.5.0-3ubuntu1~19.10) 7.5.0
  4. G++版本：g++ (Ubuntu 7.5.0-3ubuntu1~19.10) 7.5.0
  5. CMake版本：3.13.4-1build1
  6. CUDA版本：10.2, V10.2.89
  7. cuDNN版本：
最低0.47元/天 解锁文章
librahfacebook
关注
  • 1
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pytorch模型转C++（libtorch）
梁州牧的博客
07-23 1905
Pytorch模型转C++ 首先，在pytorch官网下载libtorch对应系统版本的压缩包并解压。 打开vs，编译器选择ISO C++14标准 设置附加包含目录 设置附加库目录 设置附加依赖项 需要把所有lib加进来，可以在lib文件夹下输入下面命令 ls *.lib 查看文件夹下的所有lib文件 修改两个地方： 第一项： 第二项： 其他问题： 如果报错说找不到XXX.dll，可以将lib文件夹里对应的XXX.dll放到项目文件夹可执行文件
pytorch模型转换
最新发布
dongbo1030的博客
05-26 289
torch.jit.trace 加载模型后随便构造一个输入使用模型推理一次，通过跟踪方式将转换模型，优点是简单方便，缺点是如果推理代码中有根据输入走不同分支的判断，该方法不适合。torch.jit.script 只导入训练好的模型，不需要构造输入执行一遍模型推导。为了训练好的模型方便在生产环境中使用，可用将python生成的模型转换为C++可使用的模型(.pt模型文件)。python模型转换为.pt格式可用使用两种方式：torch.jit.trace 和 torch.jit.script。
【模型部署】使用OpenCV C++ API转换PyTorch分类模型并推理
qq_43456016的博客
03-30 763
# 使用OpenC C++ API转换PyTorch分类模型并推理 1、将PyTorch分类模型转换为ONNX格式 使用pytorch的`torch.onnx.export()`接口将模型转换为onnx格式。 下例以`resnet50`为例进行演示。
Yolo v5 pytorch模型转onnx用c++进行推理
qq_33671888的博客
03-02 9388
yolov5 c++ python java 推理
pytorch导出模型并使用onnxruntime C++部署加载模型推理
踏莎行的博客
02-28 1862
机器学习的框架众多，为了方便复用和统一后端模型部署推理，业界主流都在采用onnx格式的模型，支持pytorch，tensorflow，mxnet多种AI框架。为了提高部署推理的性能，考虑采用onnxruntime机器学习后端推理框架进行部署加速，通过简单的C++ api的调用就可以满足基本使用场景。
TensorRT 学习（二）：Pytorch 模型转 TensorRT C++ 流程
秋山丶雪绪的博客
11-15 789
选取MLP和LeNet两个简单的例子，学习Pytorch模型转C++的流程，以及相关TensorRT C++ API。
20230918-pytorch训练模型，c++调用并使用模型，传入数据格式统一的问题
qq_37245700的博客
09-18 611
最开始，我在这里会产生各种各样的报错，最主要的原因是，在c++环境中opencv提供的imread方式读取的图片是3通道数据的二维数据，也就是这里的输入数据的shape是【1，3，W，H】，每张图片的大小是其本身的尺寸大小。图像的训练，一般采用卷积神经网络，其传入数据的格式为NCWH的格式，其中N表示训练的批量大小，C表示数据（图像）的通道数（channels），W表示图像的宽度（width），H表示图像的高度（height）。如何训练自己的模型，并在c++上调用呢，看了很多篇博文，都没有找到详细的文档。
RetinaFace Pytorch实现训练、测试，pytorch模型转onnx转ncnn C++推理
qq_38109843的博客
02-21 4357
首先感谢大佬的开源： RetinaFace Pytorch：https://github.com/biubug6/Pytorch_Retinaface pytorch转onnx转ncnn C++推理：https://github.com/biubug6/Face-Detector-1MB-with-landmark RetinaFace Pytorch 训练和评估直接看github项目里的就可以了...
使用onnx c++部署pytorch神经网络模型全流程
amateur_的博客
08-06 9848
C++调用ONNXRUNTIME推理pytorch模型
c++测试pytorch训练的模型
l2181265的博客
12-15 4759
c++测试pytorch训练的模型 pytorch训练的pth模型转换成onnx模型，使用c++测试onnx模型。 1. 模型.pth转.onnx 化繁为简 写那么多废话不如简单明了 import torch from Unet import Unet def pth2onnx(input, pth_path, onnx_path): model = Unet() # 导入自己的网络模型 model.load_state_dict(torch.load(pth_path))
java jna 调用pytorch c++模型推理
12-30
在描述的场景中，首先，我们需要在C++环境中构建一个推理引擎，该引擎使用PyTorch的C++ API来加载和执行预先训练好的Torch Script模型。Torch Script是PyTorch的一种静态图表示，它允许模型在不经过Python解释器的...
pytorch转onnx使用C++ onnxuntime加载推理
02-28
总结，这个`onnxruntime_demo`项目演示了如何将PyTorch模型转换成ONNX格式，并使用C++版ONNXRuntime进行推理。这展示了跨框架模型部署的灵活性，并且通过C++的低级控制，可以实现高效、定制化的模型执行。在实际应用...
C++部署Pytorch模型方法1
08-08
在C++环境中部署PyTorch模型，主要是为了利用已训练好的深度学习模型进行推理或集成到现有的C++应用中。PyTorch提供了Libtorch库，它是一个C++接口，允许我们在C++环境中加载和执行PyTorch模型。下面将详细阐述如何...
pytorch导出yolov5 onnx模型用vs2019 c++推理源代码
07-07
本代码是根据yolov5导出的onnx模型，通过c++部署； 本代码是可运行代码，但是项目目录下的包含目录需要...如果调试过程中有其他疑问，可以先看看我的这篇博客：pytorch导出yolov5 onnx模型用vs2019 c++推理保姆级教程
博文：【pytorch】将模型部署至生产环境：借助TensorRT 8完成代码优化及部署（二）：C++接口实现 的代码备份。
05-16
总结来说，这篇博文通过TensorRT 8的C++接口，演示了如何将PyTorch模型优化并部署到生产环境，涉及到的关键技术包括ONNX转换、TensorRT引擎构建、输入预处理和推理执行。这些步骤对于任何希望在C++应用中集成深度...
基于图像和视频上的显著性目标检测总结
librahfacebook的博客
02-18 6511
本文主要对SOD领域内的主要模型方法、数据集、评估方法和数据集做了一定的总结报告，部分内容源自于相关论文和网站博客内容。
PDB-ConvLSTM: 用于视频显著性目标检测的金字塔扩张较深的ConvLSTM网络
librahfacebook的博客
02-11 3877
本文出自论文Pyramid Dilated Deeper ConvLSTM for Video Salient Object Detection, 主要提出了一个视频显著性目标检测模型，由PDC模块和PDB-ConvLSTM模块组成。 本文提出了一个快速的视频显著性目标检测模型，它基于一个新的递归网络架构，被命名为PDB-ConvLSTM。一个金字塔扩张卷积（PDC）模块被首次设计用于在多尺度...
动态360°沉浸式视频中的人眼注视点预测
librahfacebook的博客
03-26 2141
基于时空显著性和历史注视点路径线索，提出了一个深度学习框架来进行未来帧的注视点预测。
如何将自己训练好的pytroch模型转换成c++ 的tensorRT推理模型
04-05
要将PyTorch模型转换为TensorRT推理模型，需要执行以下步骤： 1. 安装TensorRT：在NVIDIA的官方网站上下载适用于您的系统的TensorRT，然后按照说明进行安装。 2. 将PyTorch模型转换为ONNX格式：使用PyTorch的“torch.onnx.export”函数将PyTorch模型转换为ONNX格式。确保指定输入和输出张量的形状和数据类型，以便在TensorRT中正确解释模型。 3. 使用TensorRT的“uff.from_onnx”函数将ONNX模型转换为UFF格式。 UFF是一种高效的模型格式，可在TensorRT中实现更快的推理性能。 4. 使用TensorRT的“create_inference_engine”函数将UFF模型转换为TensorRT推理引擎。此函数将创建TensorRT的推理引擎对象，该对象将用于推理过程。 5. 加载数据和运行推理：加载测试数据并将其输入到推理引擎中，然后将输出与预期输出进行比较以验证模型的正确性。 以下是一个示例代码片段，演示了如何将PyTorch模型转换为TensorRT推理模型： ```Python import torch import tensorrt as trt import numpy as np # Step 1: Install TensorRT and verify the installation # Step 2: Convert PyTorch model to ONNX format pytorch_model = ... # your PyTorch model dummy_input = torch.randn(...) # create a dummy input tensor input_names = ... # list of input tensor names output_names = ... # list of output tensor names onnx_model_path = "model.onnx" # path to save the ONNX model torch.onnx.export(pytorch_model, dummy_input, onnx_model_path, input_names=input_names, output_names=output_names) # Step 3: Convert ONNX model to UFF format uff_model_path = "model.uff" # path to save the UFF model uff_model = trt.UffParser().parse(onnx_model_path, output_names) uff_model.write_to_file(uff_model_path) # Step 4: Create TensorRT inference engine TRT_LOGGER = trt.Logger(trt.Logger.WARNING) trt_runtime = trt.Runtime(TRT_LOGGER) engine_path = "model.engine" # path to save the TensorRT engine with trt.Builder(TRT_LOGGER) as builder, builder.create_network() as network, trt.UffParser() as parser: builder.max_workspace_size = 1 << 30 # set maximum workspace size builder.max_batch_size = 1 # set maximum batch size builder.fp16_mode = True # enable FP16 precision input_shape = (..., ...) # set input shape input_tensor = network.add_input(input_names[0], trt.float32, input_shape) output_tensor = parser.parse_buffer(output_names[0], uff_model) network.mark_output(output_tensor) engine = builder.build_cuda_engine(network) with open(engine_path, "wb") as f: f.write(engine.serialize()) # Step 5: Load data and run inference input_data = np.random.random(input_shape).astype(np.float32) with engine.create_execution_context() as context: output_data = np.empty_like(output_tensor.host_buffer) context.execute(batch_size=1, bindings=[int(input_tensor.device_buffer), int(output_tensor.device_buffer)]) np.copyto(output_data, output_tensor.host_buffer) expected_output_data = ... # expected output data assert np.allclose(output_data, expected_output_data, rtol=1e-3, atol=1e-3) # verify output ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值