Convolutional Neural Network 的 PyTorch 实现（二）使用TensorRT进行推理加速

最新推荐文章于 2024-07-17 09:15:15 发布
最新推荐文章于 2024-07-17 09:15:15 发布
阅读量540 收藏
点赞数
分类专栏： DeepLearning 文章标签： pytorch python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45463952/article/details/130830577
版权

本文章针对 Windows 10 系统

目录

CUDA CuDNN的安装： 参考文章

TensorRT 环境安装与配置

下载链接 TensorRT

本文章针对 Windows10、CUDA10.2 的PC，选择相对应的安装包完成下载。

在这里插入图片描述

在这里插入图片描述

解压后在 ./TensorRT-version/python 路径下找到 .whl 文件。（cp37 表示 python_version == 3.7）

在这里插入图片描述

conda activate condaEnv
# 按照虚拟环境中的 python 版本选择安装对应的安装包
pip install tensorrt-8.5.3.1-cp37-none-win_amd64.whl

安装完成后，将 ./TensorRT-version/lib 路径下的所有文件复制到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\bin CUDA 安装目录下。

在这里插入图片描述

zlibwapi.dll 安装与配置

CUDA 11.6 版本对应的 PyTorch 默认安装，可忽略该步骤

下载链接 zlibwapi

选择 AMD64/Intel_EM64T 完成下载
在这里插入图片描述
将 ./zlib123dllx64/dll_x64/zlibwapi.dll 文件复制到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\bin CUDA 安装目录下。
在这里插入图片描述

TensorRT 实现

git clone https://github.com/ultralytics/yolov5
cd yolov5
pip install -r requirements.txt

# Transfer .pt to .engine(TensorRT)
python export.py --weights yolov5s.pt --include engine --device 0

python detect.py --weights yolov5s.engine --source 0

在这里插入图片描述

NonnettaWu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于 TensorRT 使用 python 进行推理优化， 以YOLOv5 为例
shiter编写程序的艺术
04-21 664
TensorRT是NVIDIA推出的一个高性能的深度学习推理框架，可以让深度学习模型在NVIDIA GPU上实现低延迟，高吞吐量的部署。TensorRT支持Caffe，TensorFlow，Mxnet，Pytorch等主流深度学习框架的部署。TensorRT底层为C++库，NVIDIA为其提供了C++ API和Python API，主要在NVIDIA GPU以实现高性能的推理(Inference)加速。
【论文笔记】Privacy Prediction of Lightweight Convolutional Neural Network
weixin_51547366的博客
01-24 1690
摘要 基于云的深度学习的日益普及引发了关于准确预测和数据隐私的问题。以前的研究已经实现了简单神经网络的隐私预测。由于更复杂的神经网络需要更多的计算开销，现有的隐私预测方案效率低下。为了解决上述问题，本文介绍了一种可应用于加密数据的轻量级卷积神经网络（CNN）的隐私预测方法。首先，在不影响原有精度的情况下，将复杂的 CNN 剪裁成轻量级网络，可以高效地实现安全预测。其次，采用FV同态加密方案对用户的敏感数据进行加密，CNN中的每一层都是在密文上计算的，从而保护用户的数据隐私。最后，安全分析和实验结果证明了所
英伟达PyTorch优化神器TensorRT重磅更新！10亿参数大模型实时运行，GPT推理加速21倍...
zandaoguang的博客
12-03 740
视学算法报道编辑：好困 小咸鱼【新智元导读】12月2日，英伟达发布了最新的TensorRT 8.2版本，对10亿级参数模型进行了优化，让实时运行NLP应用成为可能。与原始PyTor...
还在为模型加速推理发愁吗？不如看看这篇吧。手把手教你把pytorch模型转化为TensorRT，加速推理
AI浩
02-19 4947
文章目录摘要环境配置ONNX模型转化第一种推理写法第二种推理写法TensorRT模型转化动态推理静态推理 摘要 最近，学习了一些模型转化和加速推理的知识，本文是对学习成果的总结。 对模型的转化，本文实现了pytorch模型转onnx模型和onnx转TensorRT，在转为TensorRT模型的过程中，实现了模型单精度的压缩。 对于加速推理，本文实现GPU环境下的onnxruntime推理、TensorRT动态推理和TensorRT静态推理。 希望本文能帮助大家。 环境配置 CUDA版本：11.3.1 cuD
使用TensorRT加速Pytorch模型推理
qq_43673118的博客
03-17 9418
TensorRT是NVIDIA官方推出的模型推理性能优化工具，适用于NVIDIA的GPU设备，可以实现对深度神经网络的推理加速、减少内存资源占用。TensorRT兼容TensorFlow、Pytorch等主流深度学习框架。在工业实践中能够提高基于深度学习产品的性能。本文记录使用TensorRT加速Pytorch模型推理的方法流程，包括TensorRT的安装、将Pytorch模型转换成TensorRT模型、使用TensorRT推理等内容。 首先列出主要参考链接： （1）官方 TensorRT主页：NVIDI
测试ONNX和Torchscript加快推理速度
whaosoft143ai的博客
06-01 649
正如我们所看到的，没有直接的答案来优化推理时间，因为它主要取决于特定硬件和试图解决的问题。因此应该使用自己的目标硬件和数据进行实验，以获得可靠的结果。尽管如此，还是有一些很容易实施的指导方针:预测批次可以提供显著的加速到一定的尺寸(取决于您的特定硬件)，特别是如果可将批相似长度的样品放在一起时。使用Torchscript或ONNX确实为较小的批大小和序列长度提供了显著的加速，在对单个样本运行推理时效果特别强。ONNX似乎是我们测试过的三种配置中表现最好的，尽管它也是最难安装到GPU上的推理 whaosoft
pytorch实现R-CNN目标检测算法
05-13
R-CNN（Region-based Convolutional Neural Network）是一种经典的目标检测算法，它结合了卷积神经网络（CNN）和选择性搜索（Selective Search）技术，用于在图像中识别和定位物体。PyTorch作为一款灵活且高效的深度...
Python-ConvNetAIG的PyTorch实现
08-11
标题 "Python-ConvNetAIG的PyTorch实现" 指的是一个使用Python编程语言和PyTorch深度学习框架实现的卷积神经网络（Convolutional Neural Network, CNN）项目，名为ConvNetAIG。这个项目特别关注的是在CNN中引入了...
PyTorch-BayesianCNN:PyTorch中基于反向传播的贝叶斯贝叶斯变分推理贝叶斯卷积神经网络
05-23
BBB_LRT（使用本地重新参数化技巧的Backprop进行Bayes操作）： 这一层与本地重新参数伎俩结合贝叶斯通过Backprop。 这个技巧使得可以直接从激活中的分布中采样。 制作自定义贝叶斯网络？ 要创建自定义贝叶斯网络，...
pytorch_object_detection.zip
07-22
首先，Fast R-CNN是Ross Girshick在2015年提出的，它是R-CNN（Region-based Convolutional Neural Network）系列的一个改进版本。Fast R-CNN通过共享卷积层计算来显著提高了处理速度，并引入了RoIPooling操作，该...
CSNet.zip_CSNET_CSNet torch代码_compressed sensing_pytorch
09-23
CSNet是一种基于深度学习的图像压缩感知（Compressed Sensing, CS）技术，它利用卷积神经网络（Convolutional Neural Network, CNN）在低采样率下重构高分辨率图像。压缩感知理论打破了传统的采样定理，允许我们以...
python实现tensorrt推理
ywfwyht的博客
09-23 2136
python实现tensoort的推理
Tensorrt8.6.1安装
m0_48095841的博客
09-21 798
来安装这些依赖库（python版本是3.10，所以安装对应的这三个库）环境配置：Tensorrt8.6.1 ，cuda11.6, cudnn8.6.0, torch1.13.1+cu116, torchvision0.14.1+cu116。1.先把cuda11.6, cudnn8.6.0, torch1.13.1+cu116, torchvision0.14.1+cu116这几个安装完之后。7.运行过程中会显示少一些库，使用pip安装对应的库就OK了。将include中头文件复制到。
PyTorch面部表情识别项目实战
最新发布
brucexia的专栏
07-17 742
自定义函数需要继承 nn.Module 子类，然后定义好参数和所需的变量，在forward方法中编写计算损失函数的过程，然后PyTorch会自动计算反向传播需要的梯度，不需要我们自己进行计算。因此，通过对人脸表情的识别可以获得很多有价值的信息，从而分析人类的心理活动和精神状态，并为各种机器视觉和人工智能控制系统的应用提供解决方案。加载预训练的MobileNetv3模型，由于预训练的模型与我们的任务需要不一样，因此需要修改最后的全连接层，将输出维度修改为我们的任务要求中的7个分类（7种面部表情）。
使用requirements.txt文件安装cuda（GPU）版本的pytorch
EstrangedZ的博客
07-14 489
使用requirements.txt和pip install -r requirements.txt 的方法安装cuda版本的pytorch
Integrated Gradients （Pytorch）refs
Sarah ~
07-15 227
2)usage : https://blog.paperspace.com/model-interpretability-and-understanding-for-pytorch-using-captum/ https://captum.ai/docs/extension/integrated_gradients 3)https://github.com/TianhongDai/integrated-gradient-pytorch
[pytorch]常用函数（自用）
何进的博客
07-14 879
返回一维张量，在start和end之间（包括start也包括end）的均匀间隔的steps个点，长度为steps。
PyTorch构建一个肺部CT图像分类模型来分辨肺癌
controller_Lw的博客
07-14 480
通过以上步骤，你可以使用PyTorch构建、训练和评估一个基于肺部CT图像的肺癌分类模型。记得根据实际情况调整超参数、模型架构和数据处理流程，以优化模型的性能。首先，确保你的数据集被正确分为训练集、验证集和测试集，并且每个图像都有相应的标签（例如0表示正常，1表示肺癌）。使用PyTorch的Dataset和DataLoader类加载和预处理数据。
基于transformer的使用cpu进行图像分类例子
05-24
基于 Transformer 的模型通常用于文本生成和翻译等 NLP 任务，而不是图像分类。对于图像分类任务，通常使用卷积神经网络（Convolutional Neural Network，CNN）等模型。 但是，如果你想要尝试使用 Transformer 模型进行图像分类，可能可以将图像转换为序列数据，然后应用 Transformer 模型进行分类。例如，可以将图像的像素值按照一定的顺序排列成一个序列，然后输入到 Transformer 模型中进行分类。 下面是一个使用 CPU 进行图像分类的例子，使用的是 PyTorch 框架。这个例子使用的是 ResNet18 模型，而不是 Transformer 模型。 ```python import torch import torchvision.models as models import torchvision.transforms as transforms from PIL import Image # 加载模型 model = models.resnet18(pretrained=True) # 设置模型为评估模式 model.eval() # 图像预处理 transform = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize( mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225] ) ]) # 加载图像 img = Image.open('example.jpg') # 预处理图像 img = transform(img) # 增加一维作为 batch 维度 img = img.unsqueeze(0) # 使用模型进行预测 with torch.no_grad(): output = model(img) # 获取预测结果 pred = torch.argmax(output, dim=1) # 打印预测结果 print(pred) ``` 在这个例子中，我们使用了一个已经训练好的 ResNet18 模型来进行图像分类。我们首先对图像进行了预处理，然后将其输入到模型中进行预测。输出的结果是一个概率分布，我们通过取最大值来得到分类结果。 需要注意的是，这个例子是使用 CPU 进行推理的，如果你对性能有更高的要求，可能需要使用 GPU 进行推理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值