CDR（cv-detect-robot）项目简介

已于 2022-02-14 13:42:59 修改
阅读量767 收藏 6
点赞数 2
分类专栏： 笔记 deepstream jetson 文章标签： 目标跟踪 计算机视觉 边缘计算 自动驾驶 视觉检测
于 2021-08-21 22:30:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46438576/article/details/119846125
版权
deepstream 同时被 3 个专栏收录
12 篇文章 2 订阅
订阅专栏
jetson
9 篇文章 0 订阅
订阅专栏
笔记
4 篇文章 0 订阅
订阅专栏

enter image description here

[中文] | [English]

CDR(cv-detect-robot)项目介绍🔥🔥🔥（工业级视觉算法Jetson侧端优化部署）

CDR项目立项宗旨：高性能视觉检测及其相关算法赋能机器人行业，搭建起技术落地的桥梁。

项目简介:

  • 本项目针对x_86和nvidia-jetson平台，利用tensorRT优化，基于deepstream视频流AI推理框架，搭建了yolov5,yolox和resnet等视觉检测算法，并对每种算法配置了deepsort,DCF和IOU跟踪器。检测及跟踪数据利用共享内存的方式传输。可通过rostopic,python脚本和c++程序三种方式读取实时数据。本项目提供了零基础入门配置及调试教程，也提供了基于x_86平台和nvidia-jetson平台的docker镜像，可省去配置环境的麻烦，一键导入运行。镜像包含yolov5项目源码全套运行环境，yolox项目源码全套运行环境。deepstream全套运行环境和ros操作系统（melodic）。

（ 备注1）:本项目已针对ubuntu-x_86平台和nvidia-jetson平台配置了全套docker镜像，无需配置繁杂软件环境，一键导入运行，省时又省力。

（ 备注2）:本项目后续将通过腾讯优图的ncnn加速库对华为海思3559、瑞芯微3399pro、勘智K210等国产AI芯片进行视觉算法的侧端优化及部署，敬请期待！！！。

（ 备注3）:随着本人及团队的学习成长，该项目会不定期进行维护和更新，由于能力有限，项目中存在错误和不足之处望各位批评指正或在issue中留言。

（ 备注4）:为方便大家学习交流，已建立CDR(cv-detect-robot)项目交流微信群，请添加群负责人小郭微信号17370042325,以方便拉您进群。

CDR~全系标配docker镜像之-v4.0版本更新内容如下🔥🔥🔥🔥🔥：

  • CDR中deepstream框架升级到6.0版本(tensorRT 8.0.1)
  • 所有子项目都适配了deepsort跟踪器(IOU,DCF和deepsort三种跟踪器随意切换)，且所有子项目的目标跟踪ID都可通过rostopic,python脚本和cpp程序获得。
  • 全系标配docker镜像，项目作者为 CDR项目分别配置了基于x_86平台和nvidia-jetson平台的全套镜像环境，并附带项目镜像操作及各子项目测试教程。
  • CDR镜像内具备pt->wts->trt功能(yolov5)和onnx-trt功能(yolox)。
  • CDR镜像内每个子项目都能具备多流检测，具体操作参考如下链接。
  • CDR镜像内各子项目同时具备视频文件检测、usb摄像头检测及rtsp实时流检测功能。
  • CDR镜像内已配置yolov5项目源码全套运行环境、yolox项目源码全套运行环境、deepstream全套运行环境及ros-melodic全套运行环境，具体环境配置请查阅如下链接：
  • CDR x86 docker镜像和CDR jetson docker镜像环境配置和算法调试极其复杂，耗时巨大，但本着开源共享的精神，项目作者决定供全行业免费使用：
    • CDR x86 docker镜像(28G左右)下载链接如下(不限速)：
      • 链接:http://112.74.111.51:1212/down/Dcyn8UvJ81Lg 提取码:Z78Din
    • CDR x86 docker镜像dockerhub下载(14.54 GB)命令：

      docker pull gjy123456/cv-detect-robot:CDR-x86-v4.02

    • CDR jetson docker镜像(10G左右)下载链接如下(不限速)：
      • 链接:http://112.74.111.51:1212/down/tSpLJEbUHvQC 提取码:nKTzyp
    • CDR jetson docker镜像(4.58G左右)dockerhub下载命令：

      docker pull gjy123456/cv-detect-robot:CDR-jetson-v4.18

！！！若使用docker镜像，本行以下内容只作了解即可,若想从零开始配置环境则可参照以下内容！！！

CDR子项目(一)（yolov5-ros-deepstream）

  • yolov5-ros-deepstream 子项目简介

该项目是将yolov5视觉检测算法与神经网络加速引擎tensorRT结合，并在英伟达的deepstream框架下运行，结合ros通信机制，将检测数据实时通过ros topic 发布出去。以供基于ROS机器人操作系统的开发人员及相关科研人员使用。

详细教程请进入yolov5-ros-deepstream

最终视频检测效果请进入yolov5-ros-deepstream检测

加入目标跟踪器视频检测效果请进入Jetson NX yolov5-ros-deepstream+目标跟踪

加入目标跟踪器视频检测效果请进入Jetson Nano yolov5-ros-deepstream+目标跟踪

CDR子项目(二)（yolov5-deepstream-python）

  • yolov5-deepstream-python 子项目简介

该项目是将视觉检测算法yolov5与神经网络加速引擎tensorRT结合,利用共享内存技术将检测所得到的数据实时储存到事先定义好的物理内存中（物理地址是唯一的），在同一硬件平台上的任意软件目录中，建立一个读取物理内存的client.py脚本文件（里面只包含一个读取内存的代码段），将指定好的物理内存中的数据读取出来，在读取成功的前提下，可将该代码段插入到任意需要目标检测数据的python项目中，从而使该python项目能顺利获取目标检测数据。

详细教程请进入yolov5-deepstream-python

最终视频检测效果请进入yolov5-deepstream-python检测

加入目标跟踪器视频检测效果请进入Jetson NX yolov5-python-deepstream+目标跟踪器

加入目标跟踪器视频检测效果请进入Jetson Nano yolov5-python-deepstream+目标跟踪器

CDR子项目(三)（yolov5-deepstream-cpp）

  • yolov5-deepstream-cpp 子项目简介

该项目是将视觉检测算法yolov5与神经网络加速引擎tensorRT结合,利用共享内存技术将检测所得到的数据实时储存到事先定义好的物理内存中（物理地址是唯一的），在同一硬件平台上的任意软件目录中，建立一个读取物理内存的yolov5_tensor.cpp文件（里面只包含一个读取内存的代码段），编译后可将指定好的物理内存中的数据读取出来，在读取成功的前提下，可将该代码段插入到任意需要目标检测数据的C++项目中，从而使该C++项目能顺利获取目标检测数据。

详细教程请进入yolov5-deepstream-cpp

最终视频检测效果请进入yolov5-deepstream-cpp检测

加入目标跟踪器视频检测效果请进入Jetson NX yolov5-cpp-deepstream+目标跟踪器

加入目标跟踪器视频检测效果请进入Jetson Nano yolov5-cpp-deepstream+目标跟踪器

CDR子项目(四)（yolox-ros-deepstream）

  • yolox-ros-deepstream 子项目简介

该项目是将yolox视觉检测算法与神经网络加速引擎tensorRT结合，本子项目采另一种引擎文件生成方法，通过onnx转到engine，此方法更具灵活性，也越来越稳定，符合行业主流发展趋势，在英伟达的deepstream框架下运行，结合ros通信机制，将检测数据实时通过ros topic 发布出去。以供基于ROS机器人操作系统的开发人员及相关科研人员使用。

详细教程请进入yolox-ros-deepstream

最终视频检测效果请进入yolox-ros-deepstream检测

加入目标跟踪器视频检测效果请进入Jetson NX yolox-ros-deepstream+目标跟踪器

加入目标跟踪器视频检测效果请进入Jetson Nano yolox-ros-deepstream+目标跟踪器

CDR子项目(五)（resnet10+ros+deepstream for python ）----(Jetson Nano and X_86)

该项目利用deepstream的python接口，基于英伟达针对性优化的resnet10.caffemodel模型,可利用英伟达新推出的(TAO) Toolkit工具包进行自定义数据集训练及模型优化，并继承CDR项目祖传的ros接口。不仅能在Jetson系列平台使用，通过docker容器技术，也可在Linux-x_86平台(Ubuntu)实现快速部署。经测试，该模型在Jetson Nano上可实现在检测算法和多目标跟踪算法同时加持情况下高达30fps的帧率(检测四种目标)，准确率可达90%以上(接近yolov5)。

详细教程请进入resnet10-ros-deepstream

最终视频检测效果请进入resnet10-ros-deepstream检测

加入目标跟踪器视频检测效果请进入Jetson NX resnet10-ros-deepstream+目标跟踪器

加入目标跟踪器视频检测效果请进入Jetson Nano resnet10-ros-deepstream+目标跟踪器

CDR子项目(六)（yolox-deepstream-python）

  • yolox-deepstream-python 子项目简介

该项目是将yolox视觉检测算法与神经网络加速引擎tensorRT结合，本子项目采另一种引擎文件生成方法，通过onnx转到engine，此方法更具灵活性，也越来越稳定，符合行业主流发展趋势，在英伟达的deepstream框架下运行，在同一硬件平台上的任意软件目录中，建立一个读取物理内存的client.py脚本文件（里面只包含一个读取内存的代码段），将指定好的物理内存中的数据读取出来，在读取成功的前提下，可将该代码段插入到任意需要目标检测数据的python项目中，从而使该python项目能顺利获取目标检测数据。

详细教程请进入yolox-deepstream-python

最终视频检测效果请进入yolox-deepstream-python检测

加入目标跟踪器视频检测效果请进入Jetson NX yolox-ros-deepstream+目标跟踪器

加入目标跟踪器视频检测效果请进入Jetson Nano yolox-ros-deepstream+目标跟踪器

CDR子项目(七)（yolox-deepstream-cpp）

  • yolox-deepstream-cpp 子项目简介

该项目是将yolox视觉检测算法与神经网络加速引擎tensorRT结合，本子项目采另一种引擎文件生成方法，通过onnx转到engine，此方法更具灵活性，也越来越稳定，符合行业主流发展趋势，在英伟达的deepstream框架下运行，在同一硬件平台上的任意软件目录中，建立一个读取物理内存的yolox_tensor.cpp文件（里面只包含一个读取内存的代码段），编译后可将指定好的物理内存中的数据读取出来，在读取成功的前提下，可将该代码段插入到任意需要目标检测数据的C++项目中，从而使该C++项目能顺利获取目标检测数据。

详细教程请进入yolox-deepstream-cpp

最终视频检测效果请进入yolox-deepstream-cpp检测

加入目标跟踪器视频检测效果请进入Jetson NX yolox-ros-deepstream+目标跟踪器

加入目标跟踪器视频检测效果请进入Jetson Nano yolox-ros-deepstream+目标跟踪器

CDR项目常见问题及其解决方案(Common problems and solutions)

Jetson Nano和 NX在运行CDR项目时注意事项

wts文件生成engine文件的方法

对多类目标中指定目标类别进行识别与跟踪

郭建洋
关注
专栏目录
计算机视觉CV目标检测综述
nie1014的博客
12-29 2679
目标检测简述
yolov5-ros模型结合zed2相机部署在 Ubuntu系统
mw的博客
05-30 1108
本篇文章主要讲解yolov5-ros模型结合zed2相机进行实时检测，经改进达到实现了红绿灯检测，并输出检测类别与置信度。
cv-detect-robot
郭建洋的博客
07-30 279
CDR(cv-detect-robot)项目介绍 CDR项目立项宗旨：高性能视觉检测及其相关算法赋能机器人行业，搭建起技术落地的桥梁。 （备注(1)）:已接入本项目的yolov5-ros-deepstream已做好了ROS系统的适配，待相关软硬件环境搭建好后即可直接调用已定义好的ros话题消息获取目标检测实时数据。 （备注(2)）:后续将接入百度paddle的ppyolo算法、旷世科技的YOLOX算法和一系列像素级目标检测及追踪算法。 （备注(３)）:随着本人的学习成长，该项目会不定...
CDR：线性模型处理量子噪声处理方法
Zcc的博客
10-25 768
文章链接 这篇文章乍一看内容挺少的，看下来感觉可以扩充很多知识点，展开学习可能需要花费更长的时间。 这篇文章介绍了 Clifford Data Regression(CDR) 方法，用于处理量子噪声，该文章将CDR运用在QAOA、phase estimation上，并与zero-noise extrapolation(ZNE)方法进行对比，最后发现在处理大规模量子电路的噪声问题上，CDR方法具有更好的效果。 CDR实现过程 用一个含大量Clifford gate的量子电路制备一系列量子态Sψ=∣ϕi⟩S
No_Description_cv-detect-robot.zip
最新发布
08-24
No_Description_cv-detect-robot
react-device-detect：检测设备，并根据检测到的设备类型渲染视图
02-04
npm install react-device-detect --save or yarn add react-device-detect 用法 例： import { BrowserView , MobileView , isBrowser , isMobile } from "react-device-detect" ; < h1> This is rendered...
mobile-device-detect：检测移动设备及其类型
02-04
npm install mobile-device-detect --save or yarn add mobile-device-detect 用法 将任何帮助程序导入您的组件，例如，在Vue.js中： < script > import { isMobile } from 'mobile-device-detect' ; export...
fall-detect-track项目的模型权重
01-13
"fall-detect-track项目"是一个专注于行为检测，特别是跌倒检测的系统，它利用先进的计算机视觉技术和深度学习算法来实时监测并追踪可能的跌倒事件。在这个项目中，"模型权重"是训练好的神经网络模型的关键组成部分...
fall-detect-track：行人跌倒检测
02-17
《行人跌倒检测：深入解析fall-detect-track项目》 行人跌倒检测是计算机视觉领域中的一个重要课题，尤其是在智能安全监控、健康护理和公共安全等领域具有广泛应用。fall-detect-track项目正是专注于这一领域的研究...
deepstream5.1——yolov4.txt
05-17
视频分析
Yolov5-in-Deepstream-5.0:描述如何在Deepstream 5.0中使用yolov5
05-12
0.说明 此存储库包含如何在DeepStream 5.0中运行yolov5模型 1.生成yolov5引擎模型 我们可以使用 yolov5生成引擎模型 重要的提示： 您应该替换tensorrtx / yolov5中的yololayer.cu和hardswish.cu文件 如何运行，以yolov5s为例 - 一种）。 用yolov5s.pt从pytorch生成yolov5s.wts git clone https://github.com/wang-xinyu/tensorrtx.git git clone https://github.com/ultralytics/yolov5.git // download its weights 'yolov5s.pt' // copy tensorrtx/yolov5/gen_wts.py into ultralytics/yolov5 //
yolox导出onnx文件
郭建洋的博客
11-04 3093
(一)安装Anaconda(已安装可跳过此步骤)： 　　　（备注： 在ubutnu 18.04环境下　X86架构） 去官方地址下载对应安装包，下载地址如下：Anaconda | Individual Edition 安装anaconda: bash ~/Downloads/Anaconda3-2021.05-Linux-x86_64.sh anaconda会自动将环境变量添加到PATH里面,如果后面你发现输入conda提示没有该命令,那么你需要执行命令 source ~/....
瑞芯微板子人脸识别demo展现
007的博客
07-16 1830
我使用的瑞芯微板子是RK3399Pro，这个板子自带有人脸识别功能，于是参看Rockchip_Developer_Guide_RockX_SDK_CN.pdf这个文档进行测试，具体操作手册上还算详细，在此不赘述。 原始的程序中是可以用摄像头来demo的，但是板子没直接接显示器，你imshow不了呀，无赖之下只能采用网络通讯方式来把结果发送到pc端然后绘制结果，最后显示，在此我采用了python3中的socket来通讯并收发json数据，下面直接上程序吧，先说明下，原始代码写的...
ROS2学习笔记（十一）-- ROS2 bag数据记录与回放
热门推荐
aibingjin的博客
04-11 2万+
简介：ROS2提供了ros2 bag命令，可以记录指定主题的数据到文件中，也可以将记录下的内容再发布出来，相当于是数据的回放，除了通过命令行的方式实现数据记录以外，也可以通过编程实现主题数据记录以及而合成的主题数据记录。
Deepstream4.0的deepstream-test2程序运行和讲解
shajiayu1的博客
12-09 4788
deepstream-test2程序注释 一、首先是运行这个程序： 拷贝sample_720p.h264到deepstream-test2 cd deepstream-test2/ make ./deepstream-test2-app sample_720p.h264 deepstream-test2相对deepstream-test1多了目标跟踪和分类。所以运行速度较慢。五个模型对视频的处理...
DeepStream: 新一代智能城市视频分析
yiran103的专栏
01-25 1万+
以下主体内容翻译自DeepStream: Next-Generation Video Analytics for Smart Cities 试想一下每个家长最糟糕的噩梦：一个孩子在拥挤的商场里迷路。现在想象一下，建筑物内部署的摄像机网络在几分钟之内就可以找到这个孩子的位置，并实时记录、检索和分析所有的视频。这只是视频分析领域提供的许多可能性之一。 虽然传统的视频分析使用基于计算机视觉的方法
DeepStream：下一代智慧城市的视频分析
cdknight_happy的专栏
03-08 3662
文章翻译自：https://devblogs.nvidia.com/deepstream-video-analytics-smart-cities/ 想象一下每个父母最糟糕的噩梦：一个孩子在一个拥挤的购物中心迷路了。现在想象一下这样一个场景：使用部署在建筑物内的摄像机网络在几分钟内找到并救出该孩子 - 并且实时记录，检索和分析所有视频。这仅代表视频分析领域提供的众多可能性之一。 传统视频分析使用基...
CDR-jetson-docker镜像使用及测试教程
郭建洋的博客
02-10 622
一、根据链接下载镜像文件： （备注）：有效下载链接请联系微信群主(17370042325)获取. 1.根据如下链接下载CDR-jetson-v4.18.tar镜像文件： 链接:http://112.74.111.51:1212/down/KSYLT4SBG2tO 提取码:123456
nvidia-detect
05-30
`nvidia-detect` 是一个 Linux 命令行工具，用于检测当前系统中是否安装了 NVIDIA 显卡驱动，并推荐适合当前系统的 NVIDIA 显卡驱动版本。 要使用 `nvidia-detect` 工具，您需要在 Linux 终端中运行以下命令： ``` sudo apt install nvidia-detect ``` 安装完成后，您可以输入以下命令来运行 `nvidia-detect` 工具： ``` sudo nvidia-detect ``` `nvidia-detect` 工具将检测当前系统中的 NVIDIA 显卡，并推荐适合当前系统的 NVIDIA 显卡驱动版本。如果您的系统中未安装任何 NVIDIA 显卡驱动，则 `nvidia-detect` 工具将不会返回任何结果。 请注意，`nvidia-detect` 工具只是为您推荐适合当前系统的 NVIDIA 显卡驱动版本，但并不会自动安装它们。您需要手动安装适合当前系统的 NVIDIA 显卡驱动版本。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值