Tensorrt实现solov2加速

已于 2024-06-12 10:38:10 修改
阅读量3.6k 收藏 22
点赞数 6
分类专栏： 深度学习视觉相关 文章标签： 深度学习 pytorch
于 2020-12-04 11:38:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/blanokvaffy/article/details/110563477
版权
本文介绍了如何使用TensorRT将PyTorch实现的SOLOv2模型转换为FP16模型，以实现推理加速。在COCO数据集上表现出色的SOLOv2，通过TensorRT的转换和优化，旨在达到实时运行的效果。虽然转换后的模型在大尺寸输入下仍较慢，但表明了进一步优化模型结构的必要性。
摘要由CSDN通过智能技术生成

Tensorrt实现solov2加速

SOLO简介

solo系列网络是由Xinlong Wang提出的单阶段实例分割网络。其搭建在mmdetection库中。solov2主干网络如下图所示：
SOLO结构
其在COCO数据集上获得了较高的AP，并且由于其单阶段实例分割的特点，方面直接实现端到端的部署。因此，我们可以采用pytorch转onnx再转tensorrt的方式实现solo的半精度、int8加速，达到实时运行的目的。

环境依赖

我们采用TensorRT7.1的部署环境（TensorRT 7.0的instance normalization层存在bug，造成推理结果不正确，参见gihub该问题的讨论）。具体测试环境如下：

	Ubuntu 18.04
	opencv 4
	CUDA 10.1
	TensorRT 7.1.3
	pytorch 1.3

快速开始

以下代码展示了如何利用tensorrt的python接口快速进行pytorc

了解本专栏 订阅专栏 解锁全文 超级会员免费看
blanokvaffy
关注
  • 6
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
专栏目录
订阅专栏
conda 虚拟环境下SOLOv2.tensorRT环境配置
tudou880306的专栏
06-20 1017
部署SOLOv2.tensorRT环境，转换.pth模型到onnx
SOLOv2-TensorRT
qq_37164776的博客
03-08 1043
https://github.com/Broad-sky/SOLOv2-TensorRT 如果觉得有用，欢迎Star！
SOLOv2（NeurIPS 2020）论文与代码解读
00000cj的博客
08-07 1059
本文针对SOLO中存在的三个影响性能的瓶颈提出了对应的优化方法，提出了SOLOv2。
tensorrt 分割_使用mmdetection2.0实现SOLOV2全新的实例分割框架
weixin_30714077的博客
01-04 1512
笔者近日在做一些实例分割到tensorrt的操作，发现，对于许多二阶段的实例分割算法，转换到另一个推理平台很麻烦，主要是这里面存在RPN的一些操作，即便是类似于CenterMask这样的模型，也需要先获取box，然后经过ROIAlign和ROIPool来得到需要的mask，这个过程不仅计算繁琐，而且很难导出到我们想要的模型格式，比如ONNX就不支持这里面的很多op。当我看到这张图的时候，...
SOLOV2:实例分割，非官方实现
03-29
SOLOV2:实例分割，非官方实现
基于MindStudio实现SOLOV2实例分割开发
weixin_38239810的博客
09-20 189
本图文案例通过复现MindX SDK SOLOV2实例分割算法，详细展示了通过MindStudio进行MindX SDK应用开发的全流程，内容包含MindStudio部署安装、MindX SDK工程创建、SOLOV2模型代码展示、pipeline功能介绍以及常见问题等。开发流程：MindX SDK推理业务的不同流程，以及MindX SDK的特色可视化流程编排。创建应用工程：MindX SDK应用工程创建流程，以及不同工程类型的差别。MindX SDK SOLOV2实例分割关键代码：解析代码内容，突出重点。
TensorRT-使用TensorRT部署Solov2算法-算法加速-优质算法部署项目实战.zip
03-04
在本项目实战中，我们将深入探讨如何利用TensorRT这一高效的深度学习推理框架来部署Solov2（Simplified Single Shot Object Detection V2）算法，从而实现GPU加速的优质算法部署。TensorRT是NVIDIA公司推出的一款...
TensorRT-使用TensorRT部署SOLOv2算法-优质算法部署项目实战.zip
02-28
在本项目实战中，我们将深入探讨如何利用TensorRT这一高效的深度学习推理库来部署SOLOv2算法。TensorRT是一个由NVIDIA开发的高性能库，主要用于优化和加速深度学习模型的推理过程，尤其是在GPU上。SOLOv2是目标检测...
SOLOv2_on_onnx_&_tensorRT_SOLOv2.tensorRT.zip
最新发布
08-24
SOLOv2_on_onnx_&_tensorRT_SOLOv2.tensorRT
TensorRT-使用TensorRT加速部署YOLOv8算法-优质算法部署项目实战.zip
03-04
2. **模型转换**：将训练好的YOLOv8模型权重加载到一个支持的框架（如PyTorch或TensorFlow），然后使用TensorRT的Python API或者ONNX进行模型导出，生成一个可被TensorRT解析的引擎文件。 3. **优化设置**：在转换...
SOLOv2:SOLOv2
04-22
SOLOv2 该代码是SOLOv2的非官方pytorch实现 安装 请检查以获取安装说明。 训练 遵循与SOLOv1相同的方式。 单个GPU： python tools/train.py configs/solov2/solov2_r101_3x.py 多GPU（例如8）： ./tools/dist_train.sh configs/solov2/solov2_r101_3x.py 8 重物 可以在下载经过训练的模型码：qw4e 结果 在使用resnet-101主干在coco数据集上训练了36个纪元（3x）之后，在COCO test-dev2017数据集上的mAP为39.5。 在原始论文中，该模型在72个时代（6x）之后达到了39.7。 可视化（1个纪元）
SOLO:SOLO和SOLOv2用于细分，ECCV 2020和NeurIPS 2020
03-20
SOLO：按位置分割对象 该项目托管用于实现SOLO算法（用于实例分割）的代码。 ，王新龙，Kong涛，沉春华，江玉宁，李磊在：Proc。 2020年欧洲计算机视觉会议（ECCV） arXiv预印本（ ） ，王新龙，张如峰，Kong涛，李磊，沉春华在：Proc。 2020年神经信息处理系统（NeurIPS）的进展arXiv预印本（ ） 强调 完全不带盒子： SOLO完全不带盒子，因此不受（锚定）盒子位置和比例的限制，自然受益于FCN的固有优势。 直接实例分割：我们的方法以图像为输入，以完全卷积，无盒和无分组的范式直接输出实例掩码和相应的类概率。 高质量的蒙版预测： SOLOv2能够预测精细和详细的蒙版，尤其是在对象边界处。 一流的性能：基于ResNet-101和可变形卷积的最佳单一模型在COCO测试开发（不进行多尺度测试）下的AP达到41.7％ 。轻型版本的SOLOv2在单个V10
SOLOV2_ncnn:带ncnn的solov2的C ++版本
04-06
SOLOV2 ncnn the C++ version of SOLOV2 with ncnn ncnn 模型 链接: 密码: phh8 mkdir build cd build cmake .. make ./solov2 ../imgs/horses.jpg ./solov2_fast ../imgs/horses.jpg 结果展示
mmdetection框架【实战SOLOv2教程】
magicnnonn的博客
03-19 1319
小白式教程，实战mmdetection框架下的SOLOv2，脱坑必看教程！
SOLOv2: Dynamic, Faster and Stronger
John's Blogs
04-06 456
实例分割之SOLOv2
jackzhang11的博客
03-25 2736
SOLOv2是基于SOLO的改进，SOLO首次提出了直接预测instance mask的范式，但其有如下三个缺点： （1）mask的表示和学习不充分； （2）预测得到的mask分辨率不够高； （3）后处理的NMS太耗时。 基于此，作者在SOLO的基础上做出了两点改进： （1）采用dynamic卷积的思想，使得网络能够根据位置信息动态地分割实例； （2）提出了Matrix NMS，大大提高了后处理的速度； 下面对这两点分别进行解读： Dynamic Instance Segmentation 从上图可以看出
SOLOv2算法学习
weixin_42708301的博客
04-27 9296
SOLOv2神经网络学习 SOLOv2是在SOLO的基础上进行的改进，原文为《SOLOv2: Dynamic and Fast Instance Segmentation》。代码在https://git.io/AdelaiDet上可以找到。 摘要 SOLOv2相对SOLO的主要改动有两点： （1）新框架由一个实例掩码表示方案来赋能，能够动态分割图像中的每个实例，不用借助bbox检测。具体来说，将目标掩码的生成（Mask branch）解耦成掩码核预测（Mask kernel branch）和掩码特征学习（M
推荐文章：SOLOv2 - 动态、更快、更强大的目标检测框架
gitblog_00009的博客
06-08 454
推荐文章：SOLOv2 - 动态、更快、更强大的目标检测框架 项目地址:https://gitcode.com/Epiphqny/SOLOv2 项目介绍 SOLOv2 是一个基于 PyTorch 的目标检测框架，其灵感来源于论文 SOLOv2: Dynamic, Faster and Stronger。这个开源实现旨在提供一种高效且灵活的解决方案，以处理图像中的对象分割和检测任务。通过引入动态网格...
tensorrt如何实现加速的
04-05
TensorRT是由NVIDIA开发的深度学习推理引擎，可以用于加速深度学习模型的推理过程，以提高模型的实时性能和效率。TensorRT的加速原理主要有以下几点： 1. 剪枝：TensorRT会对模型进行剪枝，去除一些冗余的计算和参数，以减少计算量和内存占用。 2. 量化：TensorRT会对模型的权重和激活值进行量化，将它们转换为低精度的整数或浮点数，以减少内存和计算量。 3. 层融合：TensorRT会对模型中的多个层进行融合，将它们合并成一个更高效的层，以减少计算量和内存占用。 4. 并行计算：TensorRT会利用GPU的并行计算能力，将模型的计算分配到多个GPU核心上并行执行，以提高推理速度。 5. 缓存：TensorRT会对模型的计算结果进行缓存，以避免重复计算，提高推理速度。 通过以上技术的应用，TensorRT可以实现对深度学习模型的高效加速，以满足实时性、低延迟等应用场景的需求。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值