Pytorch添加自定义算子之（10）-mmdeploy编译流程

誓天断发

已于 2024-07-19 11:48:37 修改

阅读量163

点赞数

分类专栏：深度学习之自定义算子实现文章标签： pytorch 人工智能 python

于 2024-07-02 21:33:10 首次发布

本文链接：https://blog.csdn.net/baidu_28342107/article/details/140136125

版权

深度学习之自定义算子实现专栏收录该内容

10 篇文章 2 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

整体参考
在这里插入图片描述

一、环境的安装

参考

conda create -n mmlab python=3.8
conda activate mmlab
conda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 pytorch-cuda=11.8 -c pytorch

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

誓天断发

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
Pytorch添加自定义算子之（10）-mmdeploy编译流程

pplcv 是 openPPL 开发的高性能图像处理库。此依赖项为可选项，只有在 cuda 平台下，才需安装。
复制链接

扫一扫

专栏目录

订阅专栏

Pytorch模型部署：torch-onnx-ncnn

MY_WARNING的博客

08-22

2047

部署

模型部署入门教程（八）：如何添加 TensorRT 自定义算子

qq_39967751的博客

08-19

3647

本篇教程我们主要讲述如何在 MMDeploy 代码库中添加一个自定义的 TensorRT 插件，整个过程不涉及太多更复杂的 CUDA 编程，相信小伙伴们学完可以自己实现想要的插件

参与评论您还未登录，请先登录后发表或查看评论

【模型部署】入门教程（八）：如何添加 TensorRT 自定义算子

qq_43456016的博客

04-20

827

本篇教程我们主要讲述如何在 MMDeploy 代码库中添加一个自定义的 TensorRT 插件，整个过程不涉及太多更复杂的 CUDA 编程，相信小伙伴们学完可以自己实现想要的插件。至此，我们的模型部署入门系列教程已经更新了八期，那到这里可能就先暂时告一段落啦！所有跟模型部署相关的内容，都整理在这个专栏啦，欢迎大家关注~模型部署那些事www.zhihu.com/column/c_1497987564452114432正在上传…重新上传取消。

记录--MMDeploy安装、python API测试及C++推理

牵一只蜗牛去散步

05-13

3810

目录 1--前言 2--MMDeploy安装 2-1--下载代码仓库 2-2--安装构建和编译工具链 2-3--创建Conda虚拟环境 2-4--安装MMDeploy SDK依赖 2-5--安装推理引擎 2-6--设置PATH 2-7--编译安装依赖库 3--编译MMDeploy SDK及Python API测试 4--C++推理测试 5--修改object_detection.cpp显示推理时长 6--参考 1--前言服务器配置如下： Cuda版本：11.1 C..

MMDeploy部署实战系列【第三章】：MMdeploy pytorch模型转换onnx，tensorrt

gy77

07-27

4518

MMDeploy部署实战系列【第三章】MMdeploy pytorch模型转换onnx，tensorrt

mmdeploy环境部署流程

盛世芳华

06-11

369

我使用的版本为：TensorRT-8.6.1.6，下载并解压TensorRT-8.6.1.6.Linux.x86_64-gnu.cuda-11.8.tar.gz。docker容器，ubuntu20.04，cuda11.7、四张3090显卡，默认以安装好PyTorch、mmcv等mmdetection需要的所有环境。我使用的版本为cuDNN v8.6.0，下载并解压cudnn-linux-x86_64-8.6.0.163_cuda11-archive.tar.xz。7、下载mmdeploy并编译自定义算子。

MMDeploy部署实战系列【第五章】：Windows下Release x64编译mmdeploy(C++)，对TensorRT模型进行推理

gy77

07-27

3852

MMDeploy部署实战系列【第五章】：Windows下Release x64编译mmdeploy c++SDK，对TensorRT模型进行推理

Linux安装mmdeploy1.2

hello_dear_you的博客

07-12

335

安装mmdeploy，并测试不同模型的转换和性能对比

【MMDeploy&MMPose】手把手教你在Windows上使用MMDeploy1.x进行ONNX和TensorRT的部署（Python篇）

qq_21532607的博客

05-04

2871

MMDeploy 提供了一系列工具，帮助我们更轻松的将 OpenMMLab 下的算法部署到各种设备与平台上。MMDeploy 定义的模型部署流程，这里直接使用了官方文档的内容，如下图所示：模型转换的主要功能是把输入的模型格式，转换为目标设备的推理引擎所要求的模型格式。目前，MMDeploy 可以把 PyTorch 模型转换为 ONNX、TorchScript 等和设备无关的 IR 模型。也可以将 ONNX 模型转换为推理后端模型。两者相结合，可实现端到端的模型转换，也就是从训练端到生产端的一键式部署。也称

TensorRT-Pytorch-Scatter算子的TensorRT-Plugin插件实现.zip

02-28

TensorRT_Pytorch-Scatter算子的TensorRT-Plugin插件实现

自定义算子onnx-bin

04-01

"自定义算子onnx-bin"这个主题涉及到的是如何在ONNX中处理自定义的运算符，这对于那些在标准库中找不到所需操作或者需要特定优化的开发者来说非常关键。首先，我们需要理解ONNX的结构。ONNX使用图模型表示神经网络...

pytorch-CycleGAN-and-pix2pix-master

04-25

在PyTorch-CycleGAN-and-pix2pix-master项目中，开发者提供了一个完整的实现，包括数据预处理、模型训练、结果可视化等一系列流程。用户可以根据自己的需求调整参数，如学习率、迭代次数等，并选择不同的数据集进行...

MVSNet-pytorch版源码 MVSNet-pytorch-master

08-27

MVSNet_pytorch版源码 MVSNet_pytorch-master MVSNet_pytorch版源码 MVSNet_pytorch-master MVSNet_pytorch版源码 MVSNet_pytorch-master MVSNet_pytorch版源码 MVSNet_pytorch-masterMVSNet_pytorch版源码 ...

Pytorch 实现sobel算子的卷积操作详解

09-18

本文将深入讲解如何使用PyTorch实现Sobel算子的卷积操作，以进行边缘检测。 Sobel算子是一种一阶微分算子，常用于图像边缘检测，因为它可以有效地捕捉图像中的梯度变化。Sobel算子包含两个方向的核：水平和垂直，...

从PyTorch官方的一篇教程说开去（1 - 初心）

最新发布

jomoly的博客

07-18

877

原文在此，喜欢读原汁原味的可以自行去跟，这是一个非常经典和有学习意义的例子，在此向老爷子们致敬 -开源文化好是好，但是“公地的悲哀”这点避不开，很多论文/教程的代码和环境配置，是存在问题的，有些源于依赖库的变迁（上梁不正，python语言自己都不承诺版本向下兼容），有些是以讹传讹，里外里浪费大家的很多时间。当然，其实也是提醒大家多个心眼，不要只看文章如何 tree new bee，拿到代码先在环境中跑一跑，心里有数了再引用或者转载。第一个问题是，为啥要学习强化学习？

Pytorch的编译新特性TorchDynamo的工作原理和使用示例

deephub

07-17

4476

TorchDynamo 是一个由 PyTorch 团队开发的编译器前端，它旨在自动优化 PyTorch 程序以提高运行效率。TorchDynamo 的工作原理是在运行时动态分析和转换 PyTorch 的代码，然后将其转发给各种后端编译器（如 TorchScript、TVM、Triton 等），从而实现性能的提升。特别是在需要实时执行的应用中，如自动驾驶或金融预测等，深度学习模型要求快速执行。传统的优化技术经常需要在处理Python的动态特性时进行修订，这正是TorchDynamo的强项所在。

PyTorch面部表情识别项目实战

brucexia的专栏

07-17

1114

自定义函数需要继承 nn.Module 子类，然后定义好参数和所需的变量，在forward方法中编写计算损失函数的过程，然后PyTorch会自动计算反向传播需要的梯度，不需要我们自己进行计算。因此，通过对人脸表情的识别可以获得很多有价值的信息，从而分析人类的心理活动和精神状态，并为各种机器视觉和人工智能控制系统的应用提供解决方案。加载预训练的MobileNetv3模型，由于预训练的模型与我们的任务需要不一样，因此需要修改最后的全连接层，将输出维度修改为我们的任务要求中的7个分类（7种面部表情）。

PyTorch 深度学习实践-循环神经网络（高级篇）

m0_52695557的博客

07-18

706

用ASCII表作为词典，长度为128，每一个值对应一个独热向量，比如77对应128维向量中第77个位置为1其他位置为0，但是对于embed层只要告诉它哪个是1就行，这些序列长短不一，需要padding到统一长度。它会将填充后的嵌入和实际序列长度作为输入，并返回一个打包后的序列，便于 RNN 处理。，判断句子是哪类（0-negative，1-somewhat negative，2-neutral，3-somewhat positive，4-positive）情感分析。在准确率最高点save模型。

pytorch 发布自定义的c++算子流程

06-10

发布自定义的C++算子，需要完成以下步骤： 1. 编写C++代码：编写自定义算子的C++代码，包括前向计算和反向传播函数等。 2. 编写Python绑定代码：编写Python绑定代码，将C++算子封装为PyTorch模块，方便在Python中使用。 3. 编译C++代码：使用CMake或者Makefile等工具，将C++代码编译成共享库（.so或.dll文件）。 4. 使用PyTorch C++扩展API：使用PyTorch C++扩展API，将共享库加载到PyTorch中，并注册自定义算子。 5. 测试自定义算子：在Python中测试自定义算子是否能够正常工作。这里提供一个简单的示例： 1. 编写C++代码 ```cpp #include <torch/extension.h> torch::Tensor my_add_forward(const torch::Tensor& input1, const torch::Tensor& input2) { return input1 + input2; } std::vector<torch::Tensor> my_add_backward(const torch::Tensor& grad_output) { return {grad_output, grad_output}; } PYBIND11_MODULE(TORCH_EXTENSION_NAME, m) { m.def("forward", &my_add_forward, "MyAdd forward"); m.def("backward", &my_add_backward, "MyAdd backward"); } ``` 2. 编写Python绑定代码 ```python import torch my_add = torch.utils.cpp_extension.load(name='my_add', sources=['my_add.cpp'], verbose=True) def my_add_op(input1, input2): return my_add.forward(input1, input2) class MyAddFunction(torch.autograd.Function): @staticmethod def forward(ctx, input1, input2): output = my_add_op(input1, input2) ctx.save_for_backward(input1, input2) return output @staticmethod def backward(ctx, grad_output): input1, input2 = ctx.saved_tensors grad_input = my_add.backward(grad_output) return grad_input[0], grad_input[1] my_add_function = MyAddFunction.apply ``` 3. 编译C++代码使用以下命令编译C++代码： ```sh g++ -o my_add.so -shared -fPIC my_add.cpp $(python3 -m pybind11 --includes) -I/path/to/torch/include -I/path/to/torch/include/torch/csrc/api/include -L/path/to/torch/lib -ltorch -lc10 ``` 4. 使用PyTorch C++扩展API ```cpp #include <torch/script.h> #include <iostream> int main() { torch::jit::script::Module module = torch::jit::load("model.pt"); module.to(torch::kCPU); std::string code = R"( def forward(x, y): return my_add_function(x, y) )"; torch::jit::script::Module new_module = module.clone(); new_module.define(code); // Test the new module torch::Tensor x = torch::ones({2, 3}); torch::Tensor y = torch::ones({2, 3}); torch::Tensor output = new_module.forward({x, y}).toTensor(); std::cout << output << std::endl; return 0; } ``` 5. 测试自定义算子在Python中测试自定义算子： ```python import torch my_add = torch.utils.cpp_extension.load(name='my_add', sources=['my_add.cpp'], verbose=True) def my_add_op(input1, input2): return my_add.forward(input1, input2) class MyAddFunction(torch.autograd.Function): @staticmethod def forward(ctx, input1, input2): output = my_add_op(input1, input2) ctx.save_for_backward(input1, input2) return output @staticmethod def backward(ctx, grad_output): input1, input2 = ctx.saved_tensors grad_input = my_add.backward(grad_output) return grad_input[0], grad_input[1] my_add_function = MyAddFunction.apply # Test the custom operator x = torch.ones(2, 3, requires_grad=True) y = torch.ones(2, 3, requires_grad=True) z = my_add_function(x, y) z.sum().backward() print(x.grad) # tensor([[1., 1., 1.],[1., 1., 1.]]) print(y.grad) # tensor([[1., 1., 1.],[1., 1., 1.]]) ```

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交