TensorRT：在NVIDIA各种GPU硬件平台下运行的高性能推理C++库【Pytorch-＞ONNX-＞TensorRT】【实现神经网络提速(读取ONNX模型并运行)】【目前对ONNX的支持最好】

已于 2024-02-17 00:12:32 修改
阅读量3.2k 收藏 12
点赞数 1
分类专栏： # LLM/部署 文章标签： pytorch 神经网络 c++ TensorRT
于 2022-05-08 22:03:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/124655420
版权
本文介绍了TensorRT——一个用于NVIDIA GPU的高性能推理C++库，强调其在神经网络加速上的作用。通过Pytorch到ONNX再到TensorRT的流程，展示了如何实现模型提速。讨论了TensorRT的适用场景、加速效果，以及如何将不同模型转换为TensorRT格式，特别指出TensorRT对ONNX支持良好，适用于多种深度学习框架。
摘要由CSDN通过智能技术生成

在这里插入图片描述
在这里插入图片描述
tensorRT

  • 基本网络构建
    • 创建builder
    • 创建network
    • 创建config
    • network添加输入
    • network添加层，绑定输入
    • network mark output，指定输出节点
    • builder编译network
    • 序列化，并储存为文件
  • 推理过程
    • 创建runtime
    • 反序列化engine
    • 创建执行上下文ExecuteContext
    • 获取binding的维度，并为输入输出节点分配内存
    • 为输入塞数据
    • 入队, context->enqueue(batch, void** bindings, stream, event);
    • 复制结果回主机
    • 流同步，等待推理结束
    • 打印结果
  • onnx解析器
    • tensorRT依赖onnx
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
Yolov5 win10平台下的C++推理及Tensorrt部署 篇一 (共三篇)
认真努力，做一只会飞的毛毛虫。
01-23 1万+
为什么用Yolov5而不用其他的网络： 目标检测项目落地一般都是用Yolov5和YoloR来做。其一是因为精度速度确实比较牛逼，其二是因为这两个网络相对于其他的先进网络有较为成熟的C++推理方案。 因为要在Win10下部署，Linux的一些方案就不能拿来用。比如YOLOX尽管可以用C++推理，但将其pth权重转为TensorRT的engine权重却会存在问题，因为TensorRT的5.0-7.0版本只支持Linux系统。 温馨提示：我们的部署版本是Yolov5 - 4.0，Yolov5 - 5.0或6.
30系列显卡安装tensorRT8.4.1.5
m0_37806212的博客
11-22 1759
30系列显卡安装tensorRT8.4.1.5
tensorflow 指定cpu 但是还会运行 gpu_如何利用TensorRT加速GPU上深度学习模型推理
weixin_39620535的博客
12-09 1623
背景58人工智能平台WPAI是58同城一站式算法开发平台，包括机器学习和深度学习两部分。其中深度学习平台支持GPU/CPU上深度学习模型的代码调试、离线训练和在线推理等功能。详细介绍可参考《58人工智能平台WPAI设计与实现》。深度学习模型在线推理实现模型的生产环境部署，WPAI支持TensorFlow、PyTorch以及自定义模型的在线推理(详细介绍可参考《58深度学习在线预测服务的设计与实现》...
NVIDIA-TensorRT-Python推理
最新发布
weixin_43999691的博客
07-18 261
NVIDIA TensorRT进行模型推理的Python实现。TensorRT是一个高性能的深度学习推理优化器和运行时，它能够为深度学习模型提供低延迟和高吞吐量的推理能力。(由于官方文档的使用还是比较简单，也可能自己很菜，参考了别人的文档和自己摸索，写出来这个可以使用的API)
老潘的AI部署以及工业落地学习之路
老潘的博客
08-08 1723
Hello我是老潘，好久不见各位。 最近在复盘今年上半年做的一些事情，不管是训练模型、部署模型搭建服务，还是写一些组件代码，零零散散是有一些产出。 虽然有了一点点成果，但仍觉着缺点什么。作为深度学习算法工程师，训练模型和部署模型是最基本的要求，每天都在重复着这个工作，但偶尔静下心来想一想，还是有很多事情需要做的： 模型的结构，因为上线业务需要，更趋向于稳定有经验的，未探索一些新的结构 模型的加速仍然不够，还没有压榨完GPU的全部潜力 深感还有很多很多需要学习的地方啊。 既然要学习，那么学习路线就显得比
TensorRT：TensorRT是一个C ++库，用于在NVIDIA GPU和深度学习加速器上进行高性能推理
02-05
TensorRT开源软件 该存储库包含NVIDIA TensorRT的开源软件（OSS）组件。 其中包括TensorRT插件和解析器（Caffe和ONNX）的资源，以及演示TensorRT平台的用法和功能的示例应用程序。 这些开源软件组件是TensorRT General Availability（GA）版本的子集，具有某些扩展和错误修复。 有关对TensorRT-OSS的代码贡献，请参阅我们的和。 有关TensorRT-OSS版本附带的新增功能和更新的摘要，请参阅 。 建立 先决条件 要构建TensorRT-OSS组件，您首先需要以下软件包。 TensorRT GA构建 v7.2.1
Pytorch导出onnx模型，C++转化为TensorRT并实现推理过程
weixin_44966641的博客
06-26 6901
Pytorch导出onnx模型，C++转化为TensorRT并实现推理过程
GPU服务器上的tensorrt环境搭建
weixin_41251668的博客
09-07 2314
GPU服务器上的tensorrt环境搭建 文章目录GPU服务器上的tensorrt环境搭建1.拉取docker服务器上的支持cuda、cudnn的镜像文件2.设置环境变量并下载相关依赖2.1安装cuda和cudnn2.2 pytorch和torchvision安装2.3 编译安装opencv4.42.4 安装pycuda2.5 tensorrt安装2.6 添加系统环境变量 在生产实际中，我们通常通过在GPU服务器上docker镜像环境搭建用于加速深度学习图像识别推理的tensorrt的环境。 1.拉取doc
PaddleOCR——Visual Studio 2019 环境下C++推理部署 CMake 编译解决方案
无限迭代中......
04-03 4497
PaddleOCR——Visual Studio 2019 环境下C++推理部署 CMake 编译解决方案官方文档环境配置Step1: 下载PaddlePaddle C++ 预测库 paddle_inferenceStep2: 安装配置OpenCVStep3: 下载PaddleOCRStep4: 编译CMake使用Visual Studio 2019直接编译CMake使用CMake GUI生成项目Visual Studio 2019编译CMakeStep5: 下载模型Step6: 预测及可视化常见问题参考文
AI模型工业部署：综述【常用的部署框架：TensorRT、Libtorch】【常见提速方法：模型结构、剪枝、蒸馏、量化训练、稀疏化】【常见部署流程：onnx2trt】【常见服务部署搭配】
u013250861的博客
05-08 6361
作为深度学习算法工程师，训练模型和部署模型是最基本的要求，每天都在重复着这个工作，但偶尔静下心来想一想，还是有很多事情需要做的： 模型的结构，因为上线业务需要，更趋向于稳定有经验的，而不是探索一些新的结构 模型的加速仍然不够，还没有压榨完GPU的全部潜力 一、AI部署 AI部署的基本步骤： 训练一个模型，也可以是拿一个别人训练好的模型 针对不同平台对生成的模型进行转换，也就是俗称的parse、convert，即前端解释器 针对转化后的模型进行优化，这一步很重要，涉及到很多优化的步骤 在特定的平台(嵌入
Nvidia TensorRT官方API文档
02-20
Nvidia TensorRT官方API文档，离线使用。
让你的模型加速运行，ONNX你值得拥有！
qq_34967034的博客
03-29 1608
平时打比赛、做研究几乎很少会考虑到模型推断效率的问题，基本上大多数模型只要有GPU，模型的推断效率就不会差。但在公司业务中，应对工程场景时，就不得不考虑模型的运行效率和资源的开销了。并不是所有的模型都需要部署到GPU服务器上，不少深度学习模型还是会在CPU上运行，毕竟一块了Tesla GPU就得上万元起了，而CPU价格则很低。但是直接使用基于python的深度学习框架在CPU部署模型，模型运算效率较低。在追求低延时的场景下，这样的方式几乎不可取。那么在这种情况下ONNX就是一个大杀器了！ 什么是ONNX？
Pytorch 分布式模式介绍
weixin_36670529的博客
05-19 1万+
一 分布式训练策略 数据较多或者模型较大时，为提高机器学习模型训练效率，一般采用多GPU的分布式训练。 按照并行方式，分布式训练一般分为数据并行和模型并行两种， 模型并行：分布式系统中的不同GPU负责网络模型的不同部分。例如，神经网络模型的不同网络层被分配到不同的GPU，或者同一层内部的不同参数被分配到不同GPU； 数据并行：不同的GPU有同一个模型的多个副本，每个GPU分配到不同的数据，...
【全面】人工智能技术栈与学习路线：机器学习 深度学习 视觉 NLP 推荐系统
热门推荐
cv君的博客
08-19 1万+
文章目录一 概述(本文原创)二 人工智能编程语言/数据结构与算法三 人工智能基础原理四 智能信息获取（简称爬虫） 与数据分析1、发起请求3、解析内容4、保存数据二、Requests库介绍2.1基本介绍requests的基本使用流程三、selenium四：效率问题五：资源浪费六：能被识别七、scrapy框架八、Bs4整体使用步骤九、字段匹配方案十：数据存储与队列任务（MongoDB与Rabbitmq）十一、总结requests vs Scrapy两个方法看情况用相同点五 统计学原理/离散数学/概率论与数理统计
深度学习TensorRT安装，以及VS2019、CUDA、cuDNN匹配
mw的博客
11-17 2539
准备在Windows10上安装TensorRT用于深度学习，查询得知首先要安装CUDA和cuDNN，但安装之前要先安装VS，因为安装CUDA工具包时会自动安装vs中的一些插件，如果顺序反了的话，后续要手动配置，非常麻烦。当然安装之前还需要考虑自己电脑的配置，以及各版本之间是否匹配，减少不必要的麻烦！已经提前配置好pycharm和Anaconda,选用python = 3.9的版本。
tensorrt 显卡计算能力
qq_38619782的博客
08-10 303
tensorrt 显卡计算能力https://developer.nvidia.com/zh-cn/cuda-gpus#compute
TensorRT是NVIDIA开发的深度学习推理工具，只支持推理，不支持训练 引
studyvcmfc的专栏
02-25 384
. TensorRT是NVIDIA开发的深度学习推理工具，只支持推理，不支持训练； 目前TensorRT3已经支持Caffe、Caffe2、TensorFlow、MxNet、Pytorch等主流深度学习库； 2. TensorRT底层针对NVIDIA显卡做了多方面的优化，不仅仅是量化，可以和 CUDA CODEC SDK 结合使用， 也就是另一个开发包DeepStream； 3. TensorRT独立于深度学习框架，通过解析框架文件来实现，不需要额外安装DL库； tensorRT的介绍_...
TensorRT
rl小透明
01-03 1535
什么是TensorRT TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个C++推理框架。我们利用Pytorch、TF或者其他框架训练好的模型，可以转化为TensorRT的格式，然后利用TensorRT推理引擎去运行我们这个模型，从而提升这个模型在英伟达GPU上运行的速度。速度提升的比例是比较可观的。 说回TensorRT本身，TensorRT是由C++、CUDA、python三种语言编写成的一个库，其中核心代码为C++和CUDA，Python端作为前端与用户交互。当然，TensorRT
NVIDIA TensorRT 3.0 开发者指南：优化高性能GPU推理
"NVIDIA TensorRT 是一个用于在NVIDIA图形处理单元（GPUs）上实现高性能推理的C++库。TensorRT接收网络定义并通过对张量和层进行融合、转换权重、选择高效的中间数据格式以及根据层参数和测量性能从大型内核目录中...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值