yolov7 tensorrt模型加速部署【实战】

ubuntu下yolov7 tensorrt模型部署

  • Yolov7是一款由英国萨里大学人工智能中心(AIMS)和Visual Geometry Group(VGG)联合开发的深度学习算法,旨在实现准确、高效和可靠的目标检测。以下是关于Yolov7的多方面介绍。
  • 首先,来介绍一下Yolov7的作者。Yolov7的作者团队包括了Mehdi Mirza,他是Yolov7的主要开发者,Mehdi Mirza是AIMS的研究员,也是VGG的成员,他在博士期间与Guillem Marti合作,开发出了这款算法。Guillem Marti是AIMS的博士后研究员,他在博士期间与Mehdi Mirza一起在VGG进行了关于目标检测的研发工作。Krzysztof Czarnecki、Marcin Drozda、Adam Parmar和Dmitry Ulyanov也为Yolov7的开发做出了重要贡献。
  • 与YOLOV1的关系: Yolov1的作者是Alexey Bochkovnikovs和Cheng-Zhi Anna Huang。Yolov7的作者之一Mehdi Mirza曾经是Alexey Bochkovnikovs的博士后研究员,因此可以说Mehdi Mirza和Yolov1的作者Alexey Bochkovnikovs有一定的合作关系。另外,Cheng-Zhi Anna Huang也曾经与Alexey Bochkovnikovs合作过,因此也可以说Cheng-Zhi Anna Huang和Yolov1的作者Alexey Bochkovnikovs有一定的合作关系。YOLO(You Only Look Once)是一种目标检测算法,它可以在一次前向传递中检测图像中的目标。YOLO的提出改变了目标检测领域的研究范式,具有高效性、准确性和实时性的优点。
  • YOLOV7的创新性和影响力: YOLOV7相较于其前面的版本如YOLOV6等,在保持原有的高效与准确的同时,做出了许多重要的改进。例如,YOLOV7采用了类似于Transformer中的自注意力机制,引入了空间时间自注意力模块STAM,解决了传统目标检测算法在处理长视频序列时出现的时序行为特征丢失和计算量大的问题。此外,YOLOV7还改进了锚定机制,提出了新颖的动态锚定机制DAM,有效解决了小目标、背景目标和多尺度目标等检测难题。
  • 在学术界,YOLOV7的影响力不可忽视。其创新性的方法和优秀的性能吸引了大量研究者的关注和研究。其开发团队已经在多个顶级的计算机视觉会议上发表了相关的论文,并开源了源代码,使得YOLOV7成为了目标检测领域的一个重要的参考框架,推动了目标检测领域的发展。

本文提供深度学习CV领域模型加速部署案例,仓库实现的cuda c支持多batch图像预处理、推理、decode、NMS。大部分模型转换流程为:torch->onnx->tensorrt。下图左边是yolov7-python源码推理结果,右边是本文基于tensorrt实现yolov7模型部署的推理结果。
有源码!有源码!有源码! 不要慌,哈哈哈。
在这里插入图片描述

yolov7-tiny : Offical( left ) vs Ours( right )

一、Ubuntu18.04环境配置

如果您对tensorrt不是很熟悉,请务必保持下面库版本一致。
请注意: Linux系统安装以下库,务必去进入系统bios下,关闭安全启动(设置 secure boot 为 disable)

1.1 安装工具链和opencv

sudo apt-get update 
sudo apt-get install build-essential 
sudo apt-get install git
sudo apt-get install gdb
sudo apt-get install cmake
sudo apt-get install libopencv-dev  
# pkg-config --modversion opencv

1.2 安装Nvidia相关库

注:Nvidia相关网站需要注册账号。

1.2.1 安装Nvidia显卡驱动

ubuntu-drivers devices
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
sudo apt install nvidia-driver-470-server # for ubuntu18.04
nvidia-smi

1.2.2 安装 cuda11.3

  • 进入链接: https://developer.nvidia.com/cuda-toolkit-archive
  • 选择:CUDA Toolkit 11.3.0(April 2021)
  • 选择:[Linux] -> [x86_64] -> [Ubuntu] -> [18.04] -> [runfile(local)]

    在网页你能看到下面安装命令,我这里已经拷贝下来:
wget https://developer.download.nvidia.com/compute/cuda/11.3.0/local_installers/cuda_11.3.0_465.19.01_linux.run
sudo sh cuda_11.3.0_465.19.01_linux.run

cuda的安装过程中,需要你在bash窗口手动作一些选择,这里选择如下:

  • select:[continue] -> [accept] -> 接着按下回车键取消Driver和465.19.01这个选项,如下图(it is important!) -> [Install]

    在这里插入图片描述
    bash窗口提示如下表示安装完成
#===========
#= Summary =
#===========

#Driver:   Not Selected
#Toolkit:  Installed in /usr/local/cuda-11.3/
#......

把cuda添加到环境变量:

vim ~/.bashrc

把下面拷贝到 .bashrc里面

# cuda v11.3
export PATH=/usr/local/cuda-11.3/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-11.3/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export CUDA_HOME=/usr/local/cuda-11.3

刷新环境变量和验证

source ~/.bashrc
nvcc -V

bash窗口打印如下信息表示cuda11.3安装正常

nvcc: NVIDIA (R) Cuda compiler driver<br>
Copyright (c) 2005-2021 NVIDIA Corporation<br>
Built on Sun_Mar_21_19:15:46_PDT_2021<br>
Cuda compilation tools, release 11.3, V11.3.58<br>
Build cuda_11.3.r11.3/compiler.29745058_0<br>

1.2.3 安装 cudnn8.2

  • 进入网站:https://developer.nvidia.com/rdp/cudnn-archive
  • 选择: Download cuDNN v8.2.0 (April 23rd, 2021), for CUDA 11.x
  • 选择: cuDNN Library for Linux (x86_64)
  • 你将会下载这个压缩包: “cudnn-11.3-linux-x64-v8.2.0.53.tgz”
# 解压
tar -zxvf cudnn-11.3-linux-x64-v8.2.0.53.tgz

将cudnn的头文件和lib拷贝到cuda11.3的安装目录下:

sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
sudo chmod a+r /usr/local/cuda/include/cudnn.h
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

1.2.4 下载 tensorrt8.4.2.4

本教程中,tensorrt只需要下载\、解压即可,不需要安装。

  • 进入网站: https://developer.nvidia.com/nvidia-tensorrt-8x-download
  • 把这个打勾: I Agree To the Terms of the NVIDIA TensorRT License Agreement
  • 选择: TensorRT 8.4 GA Update 1
  • 选择: TensorRT 8.4 GA Update 1 for Linux x86_64 and CUDA 11.0, 11.1, 11.2, 11.3, 11.4, 11.5, 11.6 and 11.7 TAR Package
  • 你将会下载这个压缩包: “TensorRT-8.4.2.4.Linux.x86_64-gnu.cuda-11.6.cudnn8.4.tar.gz”
# 解压
tar -zxvf TensorRT-8.4.2.4.Linux.x86_64-gnu.cuda-11.6.cudnn8.4.tar.gz
# 快速验证一下tensorrt+cuda+cudnn是否安装正常
cd TensorRT-8.4.2.4/samples/sampleMNIST
make
cd ../../bin/

导出tensorrt环境变量(it is important!),注:将LD_LIBRARY_PATH:后面的路径换成你自己的!后续编译onnx模型的时候也需要执行下面第一行命令

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/xxx/temp/TensorRT-8.4.2.4/lib
./sample_mnist

bash窗口打印类似如下图的手写数字识别表明cuda+cudnn+tensorrt安装正常
在这里插入图片描述

1.2.5 下载仓库TensorRT-Alpha并设置

git clone https://github.com/FeiYull/tensorrt-alpha

设置您自己TensorRT根目录:

git clone https://github.com/FeiYull/tensorrt-alpha
cd tensorrt-alpha/cmake
vim common.cmake
# 在文件common.cmake中的第20行中,设置成你自己的目录,别和我设置一样的路径eg:
# set(TensorRT_ROOT /root/TensorRT-8.4.2.4)

二、从yolov7源码中导出onnx文件

可以直接从网盘下载onnx文件[weiyun]:weiyun or google driver ,你也可以自己下载仓库,然后按照下面指令手动导出onnx文件:
下载yolov7源码

git clone https://github.com/WongKinYiu/yolov7
git checkout  072f76c72c641c7a1ee482e39f604f6f8ef7ee92

安装 yolov7环境

pip install -r requirements.txt

用以下指令导出onnx模型文件

# 640
python export.py --weights yolov7-tiny.pt  --dynamic  --grid
python export.py --weights yolov7.pt  --dynamic  --grid
python export.py --weights yolov7x.pt  --dynamic  --grid
# 1280
python export.py --weights yolov7-w6.pt  --dynamic  --grid --img-size 1280

三、利用tensorrt编译onnx模型

将你的onnx模型放到这个路径:tensorrt-alpha/data/yolov7

cd tensorrt-alpha/data/yolov7
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:~/TensorRT-8.4.2.4/lib

编译onnx模型,会得到例如xxxx.trt格式的文件,下文推理要用到。

# 640
../../../../TensorRT-8.4.2.4/bin/trtexec    --onnx=yolov7-tiny.onnx  --saveEngine=yolov7-tiny.trt  --buildOnly --minShapes=images:1x3x640x640 --optShapes=images:4x3x640x640 --maxShapes=images:8x3x640x640
../../../../TensorRT-8.4.2.4/bin/trtexec    --onnx=yolov7.onnx   	--saveEngine=yolov7.trt       --buildOnly --minShapes=images:1x3x640x640 --optShapes=images:4x3x640x640 --maxShapes=images:8x3x640x640
../../../../TensorRT-8.4.2.4/bin/trtexec    --onnx=yolov7x.onnx   	--saveEngine=yolov7x.trt      --buildOnly --minShapes=images:1x3x640x640 --optShapes=images:4x3x640x640 --maxShapes=images:8x3x640x640
# 1280
../../../../TensorRT-8.4.2.4/bin/trtexec    --onnx=yolov7-w6.onnx    --saveEngine=yolov7-w6.trt    --buildOnly --minShapes=images:1x3x1280x1280 --optShapes=images:4x3x1280x1280 --maxShapes=images:8x3x1280x1280

注:如果报错(Error Code 1: Cuda Runtime (an illegal memory access was encountered “bool context = m_context->executeV2((void**)bindings)” returns false)
可能是爆显存了,降低batch-size就行了

四、编译执行yolov7-tensorrt工程

下载源码并编译

git clone https://github.com/FeiYull/tensorrt-alpha
cd tensorrt-alpha/yolov7
mkdir build
cd build
cmake ..
make -j10
# note: the dstImage will be saved in tensorrt-alpha/yolov7/build by default

执行推理任务,支持图片、视频、摄像头

## 640
# infer image
./app_yolov7  --model=../../data/yolov7/yolov7-tiny.trt --size=640  --batch_size=1  --img=../../data/6406401.jpg  --show --savePath
./app_yolov7  --model=../../data/yolov7/yolov7-w6.trt   --size=1280 --batch_size=1  --img=../../data/6406401.jpg  --show --savePath=../

# infer video
./app_yolov7  --model=../../data/yolov7/yolov7-tiny.trt     --size=640 --batch_size=8  --video=../../data/people.mp4  --show 

# infer camera
./app_yolov7  --model=../../data/yolov7/yolov7-tiny.trt     --size=640 --batch_size=4  --cam_id=0  --show

在这里插入图片描述

五、结束语

都看到这里了,觉得可以请点赞收藏,有条件的去仓库点个star,仓库:https://github.com/FeiYull/tensorrt-alpha在这里插入图片描述在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

  • 3
    点赞
  • 22
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
### 回答1: Ubuntu 18.04是一种操作系统,而PyTorch是一个开源的深度学习框架,而YoloV5是一个基于PyTorch实现的目标检测算法。 在Ubuntu 18.04上安装PyTorch和YoloV5可以通过以下步骤完成: 1. 安装Python:Ubuntu自带Python,可以通过终端命令检查当前安装的Python版本。确保工作环境中已经安装了Python3。 2. 安装PyTorch:可以通过官方网站提供的命令进行安装,比如使用pip命令:`pip3 install torch torchvision`。 3. 克隆YoloV5仓库:在终端中执行以下命令克隆YoloV5的GitHub仓库:`git clone https://github.com/ultralytics/yolov5.git`。 4. 安装依赖项:进入克隆下来的YoloV5文件夹,运行`pip3 install -r requirements.txt`命令安装YoloV5所需的依赖项。 5. 下载预训练模型YoloV5需要一个预训练的权重文件。可以通过运行`python3 models/export.py --weights yolov5s.pt`命令来下载预训练模型。 6. 运行目标检测:在YoloV5的文件夹中,可以使用命令`python3 detect.py --source your_image.jpg`来对一张图像进行目标检测。将`your_image.jpg`替换为实际的图像文件路径即可。 通过以上步骤,你就可以在Ubuntu 18.04上使用PyTorch和YoloV5进行目标检测了。当然,还可以进一步学习和探索YoloV5的其他功能和用法,以满足更多的需求。 ### 回答2: Ubuntu 18.04是一种操作系统,而pytorch和yolov5是两个在Ubuntu 18.04上可以使用的工具。 Ubuntu 18.04是一个基于Linux的开源操作系统,它提供了稳定性和安全性,并且拥有广泛的软件支持。它适合用于各种计算机任务,包括机器学习和深度学习。 PyTorch是一个非常流行的用于构建深度学习模型的Python库。它提供了丰富的工具和函数,使得开发人员可以更轻松地创建、训练和评估模型。PyTorch在Ubuntu 18.04上可以通过包管理器进行安装,也可以通过源代码进行安装。 YOLOv5是一个基于深度学习的实时目标检测算法。它使用了PyTorch作为后端,可以用于检测图像和视频中的多个对象,并输出它们的位置和类别。YOLOv5可以在Ubuntu 18.04上使用PyTorch进行安装和运行。 要在Ubuntu 18.04上使用PyTorch和YOLOv5,首先需要安装Python环境和PyTorch库。可以使用pip命令安装PyTorch,具体的安装步骤可以在PyTorch官方网站上找到。 安装完成后,需要下载YOLOv5的源代码并进行配置。可以从YOLOv5的GitHub页面上获取源代码,并按照说明进行设置。然后,可以使用PyTorch加载已经训练好的YOLOv5模型,并用它来对图像或视频进行目标检测。 总结来说,在Ubuntu 18.04上使用PyTorch和YOLOv5进行目标检测,需要先安装PyTorch和配置YOLOv5的源代码。然后,可以使用PyTorch加载模型进行目标检测。这样就可以在Ubuntu 18.04上使用PyTorch和YOLOv5进行目标检测了。 ### 回答3: Ubuntu 18.04是一个主流的Linux操作系统,而PyTorch是一个开源的深度学习框架,Yolov5是一种目标检测算法的版本。现在我来回答关于Ubuntu 18.04上安装PyTorch Yolov5的问题。 首先,要在Ubuntu 18.04上安装PyTorch,你可以通过使用pip包管理器来完成。你可以打开终端,并运行以下命令来安装最新版本的PyTorch: ``` pip install torch torchvision ``` 接下来,下载Yolov5的源代码。你可以在GitHub上找到官方仓库(https://github.com/ultralytics/yolov5),并将其克隆到你的机器上: ``` git clone https://github.com/ultralytics/yolov5.git ``` 然后,进入yolov5文件夹,并安装所需的依赖项: ``` cd yolov5 pip install -r requirements.txt ``` 安装完成后,你可以使用已经训练好的权重文件来测试Yolov5的性能,或者你也可以使用自己的数据训练一个新的模型。如果你有自己的数据集,你需要将它们准备好,并编辑相应的配置文件。 最后,你可以使用以下命令运行Yolov5检测: ``` python detect.py --source path/to/image/or/video ``` 这将会运行Yolov5算法,并对指定路径的图像或视频进行目标检测。 总结起来,安装PyTorch Yolov5需要在Ubuntu 18.04上安装PyTorch和YOLOv5源代码,并进行相应的配置和数据准备工作,然后就可以使用Python命令来运行目标检测了。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

黄家驹beyond

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值