ARM NX上使用TensorRT进行YOLOV5部署（包括tensorRT_PRO库环境配置+yolov5+推理部署）

已于 2024-04-26 08:57:39 修改
阅读量1.2k 收藏 22
点赞数 24
文章标签： YOLO arm开发 人工智能
于 2024-04-23 12:28:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50341082/article/details/138115046
版权

环境配置

本文主要在下述文章配置的环境基础上进一步进行相关的环境配置，完成模型的部署推理。
【详细|ARM NX】优雅的配置ego-planner到arm架构的Jetson Orin-NX机载电脑上（opencv3.4.18-cuda11.4+VINS-Fusion-GPU）_jetson ego planner-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/weixin_44408364/article/details/136764631?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522171383904516800186592930%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=171383904516800186592930&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~rank_v31_ecpm-1-136764631-null-null.142%5Ev100%5Econtrol&utm_term=ARM%20%20NX&spm=1018.2226.3001.4187

1、检查cuda、cudnn、opencv等环境

若按照上述文章，安装了相关环境，则直接运行下述命令

jetson_release

 会出现如下截图

 若未安装相关环境，需要按照上述文章环境配置中的前三部分进行配置。

2、TensorRT安装

在下述连接中找到与CUDA、Ubuntu以及电脑架构相匹配的版本进行下载，我选择为8.5.2

NVIDIA TensorRT 8.x Download | NVIDIA Developer

下载好之后，输入下述命令进行安装：

sudo dpkg -i nv-tensorrt-(自己下载的包名)
sudo apt-get install tensorrt

使用jetop查看环境，

jetson_release

显示如下图

3、protobuf安装

参考Ubuntu20.04部署YOLOv5_ubuntu20.04 yolov5-CSDN博客

后续tensorRT需要protobuf，故需要进行安装编译特定版本的 protobuf-3.11.4，过程与上述链接类似

下载：

 在baidu-pan中下载安装包

解压：
cd ~/Download
unzip protobuf-3.11.4.zip
修改CMakeLists.txt

后期如果想要使用tensorRT_PRO的python接口，需要修改CMakeLists.txt，才能使后续编译通过。

cd ~/Downloads/protobuf-3.11.4/cmake/
gedit CMakeLists.txt 

## 在CMakeLists.txt中的30行之后加入下面两句
set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} -fPIC")

set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -fPIC")
编译：
cd protobuf-3.11.4/cmake
cmake . -Dprotobuf_BUILD_TESTS=OFF
cmake --build .
安装：
##在home 目录下创建文件夹并安装，方便后续引用
mkdir protobuf
make install DESTDIR=/home/amov/protobuf  //此处为自己电脑的地址

需要将编译好的 home/protobuf/user/local 下的 bin、include、lib 文件夹复制/到 home/protobuf 当前文件夹下，如下图

之后，protobuf 文件夹结构如下

yolov5配置

1、conda安装

参考https://www.cnblogs.com/caozewen/p/14462588.html  

由于配置的板卡为ARM架构，所以安装Archiconda3

首先，下载Archiconda3，在下方连接进行下载

https://github.com/Archiconda/build-tools/releases/download/0.2.2/Archiconda3-0.2.2-Linux-aarch64.sh

之后，运行下述命令进行安装，

　bash Archiconda3-0.2.2-Linux-aarch64.sh

 安装完成后，可以看到home文件夹下有Archiconda3文件夹

将 conda 配置到 ~/.bashrc 中

sudo gedit ~/.bashrc
##在末尾加入
export PATH=$PATH:/home/amov/archiconda3/bin

2、下载并配置yolov5

本次使用v7.0版本 

git clone -b v7.0 https://github.com/ultralytics/yolov5.git

下载之后，配置相关的运行环境

## 此处我配置的是python3.8版本，环境名称为yolo
conda create -n your_env_name python=x.x
conda create -n yolo python=3.8

## 激活环境，由于conda写入了bashrc，所以用source进行激活
source activate yolo (or your_env_name)

## 配置yolo
pip install -r requirements.txt

进行 yolo 的检测运行

cd yolov5
python detect.py --weights yolov5s.pt

如果运行成功，则在runs/detect/exp中看到运行的结果图，则yolov5配置完成

 如果想训练自己的模型，则可以参考文章Ubuntu20.04部署YOLOv5_ubuntu20.04 yolov5-CSDN博客

3、 模型导出

需要导出ONNX模型，进行TensorRT加速推理，为了减少推理错误，我们对 yolo 进行修改，实现动态宽高，之后导出ONNX

# yolov5-7.0/models/yolo.py第60行，forward函数
# bs, _, ny, nx = x[i].shape  # x(bs,255,20,20) to x(bs,3,20,20,85)
# x[i] = x[i].view(bs, self.na, self.no, ny, nx).permute(0, 1, 3, 4, 2).contiguous()
# 修改为：

bs, _, ny, nx = x[i].shape  # x(bs,255,20,20) to x(bs,3,20,20,85)
bs = -1
ny = int(ny)
nx = int(nx)
x[i] = x[i].view(bs, self.na, self.no, ny, nx).permute(0, 1, 3, 4, 2).contiguous()

# yolov5-7.0/export.py第141行
# output_names = ['output0', 'output1'] if isinstance(model, SegmentationModel) else ['output0']
# if dynamic:
#     dynamic = {'images': {0: 'batch', 2: 'height', 3: 'width'}}  # shape(1,3,640,640)
#     if isinstance(model, SegmentationModel):
#         dynamic['output0'] = {0: 'batch', 1: 'anchors'}  # shape(1,25200,85)
#         dynamic['output1'] = {0: 'batch', 2: 'mask_height', 3: 'mask_width'}  # shape(1,32,160,160)
#         elif isinstance(model, DetectionModel):
#             dynamic['output0'] = {0: 'batch', 1: 'anchors'}  # shape(1,25200,85)
output_names = ['output0', 'output1'] if isinstance(model, SegmentationModel) else ['output']
if dynamic:
    dynamic = {'images': {0: 'batch'}}  # shape(1,3,640,640)
    if isinstance(model, SegmentationModel):
        dynamic['output0'] = {0: 'batch', 1: 'anchors'}  # shape(1,25200,85)
        dynamic['output1'] = {0: 'batch', 2: 'mask_height', 3: 'mask_width'}  # shape(1,32,160,160)
    elif isinstance(model, DetectionModel):
        dynamic['output'] = {0: 'batch'}  # shape(1,25200,85)

之后，运行下述命令完成模型导出

cd yolov5-7.0
python export.py --weights=./yolov5s.pt --dynamic --include=onnx --opset=11

 tensorRT_PRO配置

1、tensorRT_PRO下载

 git clone https://github.com/shouxieai/tensorRT_Pro.git

2、修改CMakeLists.txt

根据自己电脑的配置，进行路径的修改，如果和我的配置一致，则直接按照下述修改

# 如果要支持python则设置python路径
set(HAS_PYTHON ON)
set(PythonRoot "/home/amov/archiconda3/envs/yolo")
set(PythonName "python3.8")

# 如果你是不同显卡，请设置为显卡对应的号码参考这里：https://developer.nvidia.com/zh-cn/cuda-gpus#compute
set(CUDA_GEN_CODE "-gencode=arch=compute_87,code=sm_87")

# 如果你的opencv找不到，可以自己指定目录
set(OpenCV_DIR   "/home/amov/Downloads/opencv-3.4.18")

set(CUDA_TOOLKIT_ROOT_DIR     "/usr/local/cuda")
set(CUDNN_DIR    "/usr/include/")
set(TENSORRT_DIR "/usr/src/tensorrt")

3、源码修改

YOLO模型的推理代码主要在 src/application/app_yolo.cpp 文件中，需要推理的图片放在 workspace/inference 文件夹中，将上述修改后导出的 ONNX 文件放在 workspace 文件夹下。源码修改较简单主要有以下几点：

打开  src/application/app_yolo.cpp 

//test(Yolo::Type::V7, TRT::Mode::FP32, "yolov7");   //修改1 注释177行
test(Yolo::Type::V5, TRT::Mode::FP32, "yolov5s");    //修改2 取消注释178行

4、编译

cd tensorRT_PRO
source activate yolo  //需要编译python接口，就需要进入yolo环境；否则不用
mkdir build && cd build
cmake ..
make -j16

由于我是8核CPU，所以-j16，以CPU数量两倍为优，参考自make -j参数简介。

python 接口安装

make pyinstall -j8

 5、模型构建推理

cd workspace  // 进入可执行文件目录下
./pro yolo	  // 构建模型并推理

如下图所示则推理完成

在 workspace/inference 。

6、python接口调用

workspace/python_test.ipynb 脚本是关于python接口调用的示例，运行过程中会报如下错误，这是因为libffi的版本不一致问题

参考下述链接完成相关修改Conda虚拟环境下libp11-kit.so.0: undefined symbol: ffi_type_pointer...问题解决_importerror: /lib/x86_64-linux-gnu/libp11-kit.so.0-CSDN博客

ImportError: /lib/aarch64-linux-gnu/libgobject-2.0.so.0: undefined symbol: ffi_type_uint32, version LIBFFI_BASE_7.0 

运行如下命令，可以看到libffi.so.7链接到的是libffi.so.8，链接出现错误

cd archiconda3/envs/yolo/lib
ls -l |grep libffi

此时将libffi.so.7重命名备份，并运行下述命令，即可完成修改

sudo ln -s /lib/aarch64-linux-gnu/libffi.so.7.1.0 libffi.so.7
sudo ldconfig

正常情况应如下图所示： 

 此时，就可以运行python接口了。

参考

诚慌......
关注
jetson NX部署Yolov8
m0_49586319的博客
11-24 1644
yolov8在Jetson NX板边缘端部署（30帧）
跟踪算法部署-使用TensorRT加速YOLOv5+deepsort在Jetson-NX上的加速部署-超优质项目-附完整流程教程
01-18
跟踪算法部署_使用TensorRT加速YOLOv5+deepsort在Jetson_NX上的加速部署_项目实战_超优质项目_附完整流程教程
引领高性能视觉推理新纪元：tensorRT_Pro-YOLOv8 开源项目揭秘
gitblog_00014的博客
06-14 382
???? 引领高性能视觉推理新纪元：tensorRT_Pro-YOLOv8 开源项目揭秘 tensorRT_Pro-YOLOv8This repository is based on shouxieai/tensorRT_Pro, with adjustments to support YOLOv8.项目地址:https://gitcode.com/gh_mirrors/te/tensorRT_Pro...
yolov5-7.0目标识别使用Tensorrt推理（C++Api）
最新发布
m0_66380820的博客
07-19 419
程序里主要有logging.h和utils.h两个基础的头文件，还有含推理程序的yolo.hpp，我将主要的推理程序都封装在一个类里面了，后续需要使用时直接new一个就可以直接使用了。我们使用 Netron打开对应onnx模型，可以看到images和output0参数与模型一一对应，一般我们训练自己的模型都会修改CLASSES，根据自己参数对应修改即可。我自己通常使用C#编写上位机程序，所以一般都是将C++封装成DLL使用。测试使用的话直接new一个，然后使用里面的函数即可，下面给出例子。
jetsonTX2 nx配置tensorRT加速yolov5推理
z3447643805的博客
11-13 1053
在jetson tx2 nx上使用tensorrt部署
tensorrtx-yolov5-v5.0.tar.gz
02-22
tensorrtx-yolov5-v5.0.tar.gz
Jeston Nx使用Tensor RT 加速神经网络步骤
m0_59322384的博客
07-13 697
1.准备好要用的文件包，tensorrt x（由国外大神制作的tensorrt 的接口），yolo v5 源码，注意，yolo v5 源码的版本一定要与tensorrt x 的版本对应。yolo v5训练的权重。5.在自己的深度学习环境里，也就是第3步的终端对话框里，输入命令。3.打开终端激活自己的深度学习环境，这一步默认使用本教程的人已经装好了anaconda、python、pytorch等环境，没装的可以自行百度。打开终端，在终端中输入命令nvcc -V，若出现以下界面就说明cuda已经安装完成。
yolov5 tensorrt
jacke121的专栏
10-23 4515
参照： https://github.com/hlld/tensorrt-yolov5 yololayer.h 修改自己类别个数： static constexpr int CLASS_NUM = 1; 下面是阈值参数，nms阈值参数： #define USE_FP16 // comment out this if want to use FP32 #define DEVICE 0 // GPU id #define NMS_THRESH 0.4 #d...
aarch（ARM）架构下的YOLOv5配置
xiangjiel的博客
04-17 514
4、在自己的虚拟环境下，从https://forums.developer.nvidia.com/t/pytorch-for-jetson/72048网站下下载aarch版本的pytorch v1.11.0，并在目录下采用pip install安装；在https://github.com/pytorch/vision/tree/release/0.12网站下下载对应的torchvision的aarch版本，对应pytorch v1.11.0，torchvision版本为0.12.0,并采用源码编译。
探秘TensorRT Pro：高性能深度学习推理加速神器
gitblog_00051的博客
03-23 513
探秘TensorRT Pro：高性能深度学习推理加速神器 tensorRT_ProC++ library based on tensorrt integration项目地址:https://gitcode.com/gh_mirrors/te/tensorRT_Pro 项目简介 是一个由开源社区维护的、基于NVIDIA TensorRT的高级版本，旨在提供更强大、更易用的深度学习推理优化工具。Te...
Msnhnet::fire:（yolov3 yolov4 yolov5 unet ...）受darknet启发的迷你pytorch推断框架
03-18
一个受darknet启发的小型pytorch推理框架。 支持的操作系统（您可以自己检查其他操作系统） 视窗 linux 苹果电脑 已检查 gpu CPU检查 英特尔i7 覆盆子3B 覆盆子4B 杰斯顿NX 已检查 特征 仅C ++。 3rdparty blas ...
win10_yolov5_tensorRT
03-30
1，安装环境 CUDA10.2 张量RT7.2 OpenCV3.4（工程中已指定，不需安装） vs2015下载相关工程： : 2，生成yolov5s.wts文件 在生成yolov5s.wts前，首先需要模型。同时，需要我们安装环境。这里可以参考网上其他文章或github教程进行配置安装，这里不详加说明。 将tensorrtx-master\yolov5文件夹下的gen_wts.py拷贝到ultralytics/yolov5文件夹下 在当前目录下执行： python gen_wts.py 最终我们会在当前目录下得到一个yolov5s.wts文件。 3，vs2015环境建设 这里我们使用别人已经编好的库，下载连接： 。（注意：部分头文件，lib文件已在我之后的工程中命名，有需要的同学可以直接下载） 创建vs工程，命名为yolov5_Trt，重新连接tensorrtx-master
YOLOv5改进策略|YOLOv5 的模型压缩方法、模型压缩、剪枝、量化
sybh的博客
06-13 1472
作为一个基本问题，目标检测多年来一直是一个活跃的研究领域。对象检测的主要目标涉及从数据中识别和 定位感兴趣的对象FF某些给定图像中的不同类别。对象检测是许多其他高级计算机视觉任务 [1] 的基础，从语义 分割 [2] 到对象跟踪 [3] 到活动识别 [4]。近年来，卷积神经网络(CNN)等基于深度学习的方法在目标检测任务 中取得了最先进的性能。由于计算能力和尖端算法的进步，物体检测变得更加准确，从而实现了广泛的现实应 用。
算法开发：jetson agx xavier配置虚环境，安装torch,opencv pycuda，tensorrt进行模型推理
suanfaxiazai的博客
08-03 479
至此环境全部安装完成，可以愉快的使用tensorrt做模型推理的，在x86上能跑的代码在xavier上也可以跑，例如我之前x86教程上的代码也可以在xavier上跑。因为刷机后自带tensorrt,因此要在虚环境中使用tensorrt需要拷贝,使用系统自带的python3查找tensorrt路径。cuda版本的opencv安装将在下一个教程中，现在安装opencv-python，安装时候一定要注意版本。下载torchvision：torch=1.8.0对应torchvision=0.9.0。
Jetson Xavier NX 下 yolov8 tensorrt模型部署（Jetpack5.1.2、CUDA11.4、Cudnn8.6.0、Tensorrt8.5.2）
ayxc_ve的博客
11-02 5656
Jetson Xavier NX 下 yolov8 tensorrt模型部署流程记录及问题处理，本文使用的是TensorRT-Alpha封装库，基于tensorrt+cuda，实现模型的gpu加速。
【部署笔记】Ubuntu利用TensorRT部署YOLOv5全流程
VAN的博客
11-09 8321
Ubuntu利用TensorRT部署YOLOv5全流程
YOLOv5：TensorRT加速YOLOv5模型推理
FriendshipTang的博客
06-03 1971
Python、PyTorch、TensorRT、YOLOv5、目标检测
Xavier nx平台下在Anaconda虚拟环境中安装TensorRT
qq_65486478的博客
03-15 429
之后到conda环境中pip安装即可。
基于TensorRT在jetson nx中部署yolov5目标检测模型
二爷的博客
04-09 1423
Jetson Xavier NX是nvidia开发的体型超小（只有70mm*45mm）的AI超级计算机，适用于嵌入式系统和边缘系统。NVIDIA® Jetson Xavier™ NX 是外形小巧的模组系统 (SOM)，可为边缘系统提供超级计算机性能。借助高达 21 TOPS 的加速计算能力，它可以并行运行现代神经网络并处理来自多个高分辨率传感器的数据，这是完整 AI 系统的要求。Jetson Xavier NX 是生产就绪型产品，可支持所有热门 AI 框架。
paddle在arm设备上部署yolov5
10-03
要在ARM设备上部署YOLOv5，可以使用PaddlePaddle深度学习框架。PaddlePaddle提供了一种灵活且高效的工具来进行模型的训练和部署。 首先，我们需要使用PaddlePaddle的官方代码库来下载YOLOv5模型的权重文件。然后，我们可以使用PaddleX库来加载模型和进行预测。PaddleX是一个基于PaddlePaddle的高层次API，简化了模型的加载和预测过程。 在ARM设备上部署YOLOv5，我们需要确保设备上安装了PaddlePaddle和PaddleX的相关依赖。然后，我们可以通过以下代码来加载模型和进行预测： ```python import paddle import paddlehub as hub # 加载YOLOv5模型 model = hub.Module(name='yolov5s') # 定义预测图像 image_path = 'test.jpg' image = paddle.to_tensor(image_path) # 进行目标检测 results = model.object_detection(images=[image], visualization=True, output_dir='output') ``` 在上述代码中，首先我们加载了YOLOv5模型。然后，我们指定了要进行目标检测的图像路径，并将其转化为PaddlePaddle的张量格式。最后，我们调用object_detection函数来进行目标检测，并可以选择是否可视化结果以及指定输出目录。 通过这种方式，我们可以在ARM设备上部署和运行YOLOv5模型，并得到目标检测的结果。值得注意的是，ARM设备可能计算资源有限，因此，可能需要对模型进行压缩和量化，以提高模型的运行效率和性能。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值