超强检测RT-DETR | Python/C++ 保姆级部署教程，从入门到精通！

最新推荐文章于 2024-07-22 20:01:11 发布
最新推荐文章于 2024-07-22 20:01:11 发布
阅读量2.5k 收藏 29
点赞数 3
文章标签： python 人工智能 深度学习 开发语言
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247541325&idx=4&sn=5bd4dc69ccde00aef599245722b823e7&chksm=ceb80f84f9cf8692bffde8afaaea57b23022633faf141235e342d04be5d68a66e9dc66e1d599&scene=126&sessionid=0
版权

作者 | 派派星  编辑 | CVHub

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心【目标检测】技术交流群

后台回复【2D检测综述】获取鱼眼检测、实时检测、通用2D检测等近5年内所有综述！

c4840792f3bd886451a323f69f4306d5.png

Title: DETRs Beat YOLOs on Real-time Object Detection
Paper: https://arxiv.org/pdf/2304.08069.pdf
Code: https://github.com/PaddlePaddle/PaddleDetection/tree/develop/configs/rtdetr

导读

62705af4887b5bba2895739bf7cbe285.png

众所周知，在目标检测领域，YOLO 系列模型一直充当着老大哥的角色。虽然其检测性能表现优异，但一直被广为诟病的便是其后处理过于繁琐且耗时，不好优化且不够鲁棒。

最近，基于Transformer的端到端检测器(DETR)取得了显著的性能。然而，DETR的高计算成本问题尚未得到有效解决，限制了它们的实际应用，并阻止它们充分利用无后处理的优点，例如非最大值抑制(NMS)。

于是乎，百度近期又基于 DETR 实现并开源了第一个实时的端到端物体检测器RT-DETR，有效的避免 NMS 导致的推理延迟同时提升性能。

b91c9bc5e7a31486310f151bb5ca1ecf.png

具体来说，作者设计了一个高效的混合编码器，通过解耦内部尺度交互和跨尺度融合来高效地处理多尺度特征，并提出了 IoU 感知的查询选择来改进目标查询的初始化。此外，RT-DETR 支持使用不同的解码器层来灵活调整推断速度，无需重新训练，从而方便实时物体检测器的实际应用。

cd767ed567719f926072dc23d909fcbf.png

最终 RTDETR-L 在COCO val2017上达到了53.0%的AP和114 FPS的速度，而RT-DETR-X达到了54.8%的AP和74 FPS，速度和准确性均优于相同规模的所有YOLO检测器。此外，RTDETR-R50 在精度上比 DINO-Deformable-DETR-R50 高 2.2% 的 AP，在FPS上高出约21倍，达到了 53.1% 的 AP 和 108 FPS！

关于理论部分我们简单介绍到这里，具体的解读可参考：https://mp.weixin.qq.com/s/o03QM2rZNjHVto36gcV0Yw。本文着中教大家如何从零到一完成 RT-DETR 模型的部署。具体的代码可直接在文末点击阅读原文直接跳转到 Github，欢迎点个 star！

安装依赖

  • 新建一个虚拟环境【可选】

conda create -n paddlepaddle python=3.8 -y
conda activate paddlepaddle

  • 下载相应的 paddle 版本【PaddlePaddle >= 2.4.1】

# 此处安装了适配 CUDA11.7 的 PaddleGPU 2.4.2 版本，请根据自己本地环境修改
python -m pip install paddlepaddle-gpu==2.4.2.post117 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html

  • 下载代码仓库

git clone https://github.com/PaddlePaddle/PaddleDetection.git
git checkout develop
# Install other dependencies
cd PaddleDetection
pip install -r requirements.txt
# Compile and install paddledet
python setup.py install

  • 下载预训练权重并测试环境是否正常

# 下载权重
wget https://bj.bcebos.com/v1/paddledet/models/rtdetr_r50vd_6x_coco.pdparams && mkdir weights && mv rtdetr_r50vd_6x_coco.pdparams ./weights

# 测试看能否正常 infer，测试图片自行替换下
python tools/infer.py -c configs/rtdetr/rtdetr_r50vd_6x_coco.yml -o weights=https://bj.bcebos.com/v1/paddledet/models/rtdetr_r50vd_6x_coco.pdparams --infer_img=bus.jpg

  • 修改配置文件

首先，进入文件路径 【PaddleDetection/configs/rtdetr/base/rtdetr_r50vd.yml】修改 DETR 的导出配置：

33827f1628984f68b780519a46166584.png

其次，进入文件路径 【PaddleDetection/ppdet/modeling/architectures/detr.py】将后处理输出合并下，便于部署

1b3436083bf8c3ce1f9d6cc1fdaae45c.png

注意，此处输出的 score 默认是没有归一化的，如果想一步到位的可以直接加 sigmoid 处理下。不过问题不大，因为我们的部署代码已经植入了自动判断，可根据输出值动态适配，此处可加可不加。另外，默认的导出方式是静态的，如果想改成动态Shape，只需调用 【PaddleDetection/scripts/paddle_infer_shape.py】函数修改 --input_shape_dict="{'image': [-1, 3, -1, -1]" 即可，这里 -1 代表动态输入。

最后，直接导出模型权重即可：

python tools/export_model.py -c configs/rtdetr/rtdetr_r50vd_6x_coco.yml \
              -o weights=https://bj.bcebos.com/v1/paddledet/models/rtdetr_r50vd_6x_coco.pdparams trt=True \
              --output_dir=output_inference

  • 转换模型格式

pip install onnx==1.13.0
pip install paddle2onnx==1.0.5

paddle2onnx --model_dir=./output_inference/rtdetr_r50vd_6x_coco/ \
            --model_filename model.pdmodel  \
            --params_filename model.pdiparams \
            --opset_version 16 \
            --save_file ./output_inference/rtdetr_r50vd_6x_coco/rtdetr_r50vd_6x_coco.onnx

此处我们仅以 ONNXRUNTIME 进行演示，对于想部署到 TensorRT 平台的可直接参考 PaddleDetection 官方提供的转换脚本，部署流程都差不多，只需要按照此工程写好预处理和后处理即可。

  • 使用 onnxsim 简化输出并用 netron 打开检查下：

pip install netron
pip3 install -U pip && pip3 install onnxsim
onnxsim input_onnx_model output_onnx_model
OriginModify
bc290d4ba19e98eb0021d8469bd718ad.png51247914a1829e85d3b2fd865d4a6b2d.png

左边是不做任何处理的原始导出模型，右边是经过适当调整后的导出模型。

Python 部署

这一块比较简单，经过上面的操作系统应该已经默认安装了onnxruntime库了，接下来我们只需照着下面的代码运行下即可。

$ git clone https://github.com/CVHub520/rtdetr-onnxruntime-deploy.git
$ cd rtdetr-onnxruntime-deploy
$ mkdir weights && cd weights
$ wget https://github.com/CVHub520/rtdetr-onnxruntime-deploy/releases/download/v1.0.0/rtdetr_r50vd_6x_coco_cvhub.onnx
$ cd ../python
$ python3 main.py

C++ 部署

  1. 安装编译 ONNXRUNTIME，以 Linux 环境为例。

  • 首先，下载源码：

git clone https://github.com/Microsoft/onnxruntime
cd onnxruntime/

  • 在安装之前，我们先进入到 onnxruntime 目录，其中 build.sh 文件为编译脚本，先打开看看：

#!/bin/bash
# Copyright (c) Microsoft Corporation. All rights reserved.
# Licensed under the MIT License.

# Get directory this script is in
DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"
OS=$(uname -s)

if [ "$OS" = "Darwin" ]; then
    DIR_OS="MacOS"
else
    DIR_OS="Linux"
fi

if [[ "$*" == *"--ios"* ]]; then
    DIR_OS="iOS"
elif [[ "$*" == *"--android"* ]]; then
    DIR_OS="Android"
fi

#requires python3.6 or higher
python3 $DIR/tools/ci_build/build.py --build_dir $DIR/build/$DIR_OS "$@"

可以看出，这个处理逻辑只是先判断当前系统环境，针对不同运行平台进行编译，主要编译选项在 tools/ci_build/build.py 文件下，打开文件后，我们重点看下 parse_arguments() 函数的参数说明。具体地，我们挑几个比较常见的讲讲：

  • --build_dir：用于指定编译后的库文件存放路径，不可缺省，此处指定在DIR_O 目录下；

  • --config：有四种模式，即["Debug", "MinSizeRel", "Release", "RelWithDebInfo"]，例如 MinSizeRel 顾名思义便是优化目标文件的大小，而 RelWithDebInfo 则表示带 Debug 信息的原始目标文件，Release 即发行版，其目标文件大小介于这两者之间。一般可直接按默认，或者根据自己需要选择即可，例如我们这里直接选用 Release 版本。

  • --parallel：是否开启多核编译，建议开启，不然编译速度贼慢；

  • --skip-tests：单元测试，建议开启，直接跳过；

  • --use_cuda：如果需要使用 cuda 加速，就开启；注意，如果开启了此项，需要指定 --cuda_home 和 --cudnn_home 的路径，默认存放在 /usr/local 目录下；

  • --build_shared_lib：是否编译成动态库，默认是编译静态库；

  • Default behavior is --update --build --test for native architecture builds.

  • Default behavior is --update --build for cross-compiled builds.

  • --use_tensorrt：是否使用tensorrt加速，若开启，需要指定 --tensorrt_home 参数。

  • 没问题的我们可以根据自己需要选择合适的编译参数，此处 cuda 和 cudnn 路径需改为自己本地上的路径！：

./build.sh --skip_tests --use_cuda --config Release --build_shared_lib --parallel --cuda_home /usr/local/cuda-11.7 --cudnn_home /usr/local/cuda-11.7

注意，此过程会涉及到很多文件的下载，如果 git 访问很慢会导致多次中断，这时候可以多次重复运行下，若一直网络失败请参考问题汇总。运气不好的话，整个过程可能需要花费数个小时，请耐心等待。

6be2e6aa0ffcc1e219ca2305a3672e5e.png

  1. 安装编译 OpenCV 环境。

安装步骤可参考此教程: https://zhuanlan.zhihu.com/p/392751819

  1. 下载工程

$ cd rtdetr-onnxruntime-deploy
$ mkdir weights && cd weights
$ wget https://github.com/CVHub520/rtdetr-onnxruntime-deploy/releases/download/v1.0.0/rtdetr_r50vd_6x_coco_cvhub.onnx
$ cd ../cplusplus

注意：要构建项目，请确保正确安装了 onnxruntime 和 opencv。然后，按照指示运行命令。不要忘记更新 CMakeLists.txt 文件中的 ONNXRUNTIME_DIR 和 OpenCV_DIR cmake 选项以匹配您的自定义环境。

$ mkdir build && cd build
$ cmake ..
$ make
$ ./main
# ./main --use_cuda

结果展示

PythonC++
b6e4029531c634f44ebaf920111b7be6.jpeg76daf7f1ad5a5c841c5db7ae97ed838d.jpeg

边框坐标完全对齐，精度几乎没有损失。

总结

本文简单的为大家介绍了 RT-DETR 模型的一些基本概括，同时演示了如何基于 Python 和 C++ 在本地环境进行部署。完整的项目代码请访问 Github 地址，有任何疑问请加微信: cv_huber，备注“RTDETR”进入交流群讨论。最后，也欢迎大家点个 star 鼓励支持一下，感谢各位小伙伴长久以来的支持！

视频课程来了！

自动驾驶之心为大家汇集了毫米波雷达视觉融合、高精地图、BEV感知、传感器标定、传感器部署、自动驾驶协同感知、语义分割、自动驾驶仿真、L4感知、决策规划、轨迹预测等多个方向学习视频，欢迎大家自取（扫码进入学习）

a209dd580104f012fc1f33f4500c82e6.png

（扫码学习最新视频）

国内首个自动驾驶学习社区

近1000人的交流社区，和20+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D目标检测、Occpuancy、多传感器融合、目标跟踪、光流估计、轨迹预测）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

acb9f6aa58f99feeedf651e652fc8f68.jpeg

【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向；

37408550714f746a4b119803e61e71c6.jpeg

添加汽车人助理微信邀请入群

备注：学校/公司+方向+昵称

自动驾驶之心
关注
详解RT-DETR网络结构/数据集获取/环境搭建/训练/推理/验证/导出/部署
Snu77的博客
11-27 2万+
本文给大家带来是利用RT-DETR模训练自己的数据集，RT-DETR是一种新提出的目标检测模型，它利用的自注意力机制来处理图像数据。不同于YOLO通过连续的卷积层直接对图像区域进行分析，RT-DETR采用Transformer架构中的自注意力机制，这允许模型更有效地理解图像中不同部分之间的关系。这种方法使得RT-DETR在处理图像中的复杂场景和多对象环境时，能够展现出更高的准确性和效率。此外，RT-DETR在保持高精度的同时，也针对实时处理进行了优化，使其适合需要快速响应的应用场景。
RT-DETR：端到端的实时Transformer检测模型（目标检测+跟踪）
pengxiang1998的博客
05-31 4873
博主一直一来做的都是基于的目标检测领域，相较于基于卷积的目标检测方法，如YOLO等，其检测速度一直为人诟病。终于，RT-DETR横空出世，在取得高精度的同时，检测速度也大幅提升。那么RT-DETR是如何做到的呢？在研究RT-DETR的改进前，我们先来了解下DETR类目标检测方法的发展历程吧DETRNMSDAB-DETRDETR100DETRDAB-DETRH-DETR然而，上述方法尽管已经大幅提升了检测精度，降低了计算复杂度，但其受本身高计算复杂度的制约，DETR。
RT-DETR: 实时目标检测的又一次进化
最新发布
Warmer_Sweeter
07-22 1098
点击下方卡片，关注“小白玩转Python”公众号实时目标检测是一个具有广泛应用的关键领域，从物体跟踪到自动驾驶。想象一下，一辆能够实时检测行人和其他车辆的自动驾驶汽车，或一个可以同时跟踪多个移动物体的监控系统。这些系统的效率和准确性取决于其快速、准确地处理和分析视觉数据的能力。这就是实时目标检测的重要性所在。在这篇文章中，我们将讨论 RT-DETR 及其实现。虽然 RT-DETR 可能听起来像一个...
DETR系列：RT-DETR实战部署
lansebingxuan的专栏
06-26 4326
上篇文章介绍RT-detr的论文内容（），本篇文章介绍算法复现、tensorRT加速、python调用部署、训练等方法。
RT-DETR推理详解及部署实现
热门推荐
周同学的博客
11-12 1万+
RT-DETR推理详解及部署实现
RT-DETR~onnxruntime部署
whaosoft143ai的博客
12-30 1175
在上一篇文章《AI模型部署 | onnxruntime部署YOLOv8分割模型详细教程》中我介绍了如何使用onnxruntime框架来部署。每个目标的坐标信息都是做了归一化的，只要乘以原始图像的尺寸就可以把坐标恢复到在原始图像中的大小。前面我们打印了模型的输入输出属性，可以知道模型只有一个输出分支，所以只要取。工具对模型进行简化，否则生成的模型有一大堆零碎的算子，看起来就很麻烦。从上面的打印信息可以知道，模型有一个尺寸为。下载使用，本文使用的模型为。从前文知道模型输出的维度为。，那么导出模型的时候会把。
超强目标检测器RT-DETR（超过yolov8）——保姆级部署教程
@bangbang的博客
05-10 5497
众所周知，在目标检测领域，YOLO 系列模型一直充当着老大哥的角色。虽然其检测性能表现优异，但一直被广为诟病的便是其后处理过于繁琐且耗时，不好优化且不够鲁棒。最近，基于的端到端检测器(DETR)取得了显著的性能。然而，DETR的高计算成本问题尚未得到有效解决，限制了它们的实际应用，并阻止它们充分利用无后处理的优点，例如非最大值抑制(NMS)。于是乎，百度近期又基于 DETR实现并开源了第一个实时的端到端物体检测器RT-DETR，有效的避免 NMS 导致的推理延迟同时提升性能。
算法部署-基于C++和Python使用ONNXRuntime部署RT-DETR目标检测算法-附项目源码-优质项目实战.zip
05-12
在这个项目中，我们将深入探讨如何使用C++和Python结合ONNXRuntime来部署RT-DETR目标检测算法。RT-DETR（Real-Time DETR）是一种高效的目标检测模型，它基于DETR（DEtection TRansformer），但进行了优化以提高推理...
算法部署-使用TensorRT部署RT-DETR目标检测算法-优质算法部署项目实战.zip
03-06
在本项目实战中，我们将深入探讨如何利用TensorRT来部署RT-DETR目标检测算法，以实现高效且高质量的算法部署。TensorRT是一款由NVIDIA开发的高性能深度学习推理（Inference）优化器和运行时，它能为深度学习模型提供...
rt-detr目标检测+python+tensorRT推理代码
06-28
该代码实现rt-detr的部署，使用python，调用tensorRT转换后的模型，实现单张图片或者图片文件夹批量推理，代码输入图片/文件夹路径，模型路径，输出图片保存路径，运行命令python ./infer_tensorrt.py --infer_dir=....
使用TensorRT部署RT-DETR目标检测算法python源码.zip
05-15
使用TensorRT部署RT-DETR目标检测算法python源码.zip使用TensorRT部署RT-DETR目标检测算法python源码.zip使用TensorRT部署RT-DETR目标检测算法python源码.zip使用TensorRT部署RT-DETR目标检测算法python源码.zip使用...
DETR的demo使用方法详解（python）
Mr_wjjianyan的博客
11-09 754
detr的demo实现
百度开源超强目标检测器 RT-DETR | Python/C++ 保姆级部署教程，从入门到精通
专注计算机视觉全栈知识分享
05-20 1266
本文简单的为大家介绍了 RT-DETR 模型的一些基本概括，同时演示了如何基于 Python 和 C++ 在本地环境进行部署。完整的项目代码请访问 Github 地址，有任何疑问请加微信: cv_huber，备注“RTDETR”进入交流群讨论。即日起，CVHub正式开通知识星球本星球主打知识问答服务，包括但不仅限于算法原理项目实战职业规划科研思想等。本星球秉持高质量AI技术分享，涵盖：每日优质论文速递，优质论文解读与知识点总结等。本星球力邀各行业AI大佬，提供各行业经验分享。
AI模型部署 | onnxruntime部署RT-DETR目标检测模型
DeepDriving
12-29 1712
本文首发于公众号【DeepDriving】，欢迎关注。
手把手教你使用云服务器训练 RT-DETR (Pytorch版)
YOLOv8项目贡献者
10-14 4723
手把手带你训练RT-DETR
实战！最强检测器RT-DETR 的TensorRT部署来了
CV_Autobot的博客
06-30 1916
作者|耳东君 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/623794029点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群后台回复【模型部署工程】获取基于TensorRT的分类、检测任务的部署源码！0x1 前言：前段时间刚看过DINO Transformer，这没两天就出了RT-DETR，...
RT-DETR（Pytorch版）训练自己coco格式数据集
sumeil的博客
09-10 3222
RT-DETR训练自己数据集
[转]RT-DETR推理详解及部署实现-CSDN博客
chinagudujian的专栏
01-04 1721
是由 Baidu 提出的基于 transformer 的端到端实时检测器，本篇文章主要分享博主在实现 RT-DETR 推理和部署时做的一些尝试，不涉及任何的原理性分析。若有问题欢迎各位看官批评指正😄博主在这里针对 RT-DETR 的预处理和后处理做了简单分析，同时与大家分享了 C++ 上的实现流程，目的是帮大家理清思路，更好的完成后续的部署工作😄。
百度rt-detr在python中怎么使用?
12-20
百度RT-DETR是百度开发的一个图像检测和语义分割模型。在Python中使用百度RT-DETR模型，首先需要安装百度的PaddlePaddle深度学习框架。然后可以按照以下步骤使用百度RT-DETR模型： 1. 安装PaddlePaddle框架：可以...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值