目标检测YOLO实战应用案例100讲-结合YOLOv5神经网络轻量化改进的视觉SLAM

已于 2024-07-19 09:22:56 修改
阅读量668 收藏 3
点赞数 18
分类专栏： 目标检测YOLO系列实战应用案例精讲100例 文章标签： 目标检测 YOLO 神经网络
于 2023-12-27 00:30:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36130719/article/details/135146834
版权
本文详细介绍了基于视觉SLAM的语义地图构建框架，探讨了与深度学习结合的SLAM系统设计，特别是利用YOLOv5目标检测算法进行动态物体识别和去除，以提高SLAM的精度和鲁棒性。通过对比分析了SSD和YOLO算法，指出YOLOv5因其轻量化和高精度适合动态环境的SLAM应用。
摘要由CSDN通过智能技术生成

目录

前言

知识储备-SLAM框架-常见方案对比

点云数据

SALM基础

传感器

视觉SLAM框架

SLAM框架之视觉里程计

SLAM框架之后端

SLAM框架之回环检测

双目立体视觉的数学原理

双目立体视觉的数学原理

3D视觉方案

基于视觉SLAM的语义地图构建框架

2.1基于RGBD数据的视觉SLAM框架

2.1.1传感器数据读取

2.1.2前端

2.1.3后端优化

2.1.4回环检测

2.1.5建图

2.2与深度学习相结合的SLAM构建框架设计

2.2.1与深度学习相结合的SLAM框架

2.2.2卷积神经网络

2.2.3目标检测算法

2.2.4语义分割

YOLOv5神经网络的轻量化改进及应用研究

3.1目标检测算法对比

3.2 YOLO目标检测算法

3.2.1 YOLO算法简介及分析

3.2.2 YOLOv5目标检测流程

本文篇幅较长，分为上下两篇，下篇详见结合YOLOv5神经网络轻量化改进的视觉SLAM（续）

前言

在许多应用场景中，机器人需要在未知环境中移动并感知其周围的环境， 在这种情况下需要同时获取的信息主要包括两个方面：自己的位置和周围环境。
这种同时进行自身定位和周围建图的技术被称为SLAM（Simultaneous Localization and Mapping）[1]。随着计算机视觉技术的快速发展，用视觉传感器 作信息获取源成为了SLAM技术中重要的一环，并在机器人技术蓬勃发展

了解本专栏 订阅专栏 解锁全文
林聪木
关注
专栏目录
订阅专栏
目标检测YOLO实战应用案例100讲-基于YOLOv5的双阶段小样本目标检测
qq_36130719的博客
09-14 789
目标检测任务作为计算机视觉领域的经典任务之一，由目标定位和目标分类两个子 任务组成[ 1]。其中目标定位任务将会输出图片中感兴趣类别目标在图片上的位置和范围， 输出的数据形式一般为感兴趣区域中心及感兴趣区域的长宽或感兴趣区域在图片上的 四个端点的坐标信息；而目标分类负责判断图片中是否有感兴趣类别的目标出现，其输 出数据的形式包括类别的编码以及目标属于该类别的概率[ 2]。目标检测任务的应用范围 非常广泛，如人脸检测、智能交通、安全系统检测和医疗方面检测[ 3]。
目标检测YOLO实战应用案例100讲-结合YOLOv5神经网络轻量化改进的视觉SLAM（续）
qq_36130719的博客
12-28 1254
（1）首先对应backbone部分，使用轻量级的模型进行替换，传统选择有 EfficientNet B0、ShuffleNet V2、MobileNet V3等，这些模型不仅具有较少的参 数量，还可以在保持较高准确率的情况下，实现较快的推理速度。个可选的残差链接组成，1x1卷积层可以有效地在不改变特征图尺寸的情况下 进行通道间的信息融合，3x3卷积层是卷积神经网络中的常见组件，可以在保 持较低计算复杂度的同时提取丰富的特征信息，残差连接有助于梯度在网络中。的传播，提高训练稳定性。的设计结构相结合完成改进。
动态SLAM：ORB-SLAM2+YOLOv8
weixin_51995147的博客
06-07 723
基于ORB-SLAM2利用YOLOv8实例分割快速剔除动态对象特征点
探索动态场景中的视觉SLAM：YOLOv5与ORB-SLAM2的完美结合
最新发布
gitblog_00904的博客
09-13 624
探索动态场景中的视觉SLAM：YOLOv5与ORB-SLAM2的完美结合 orbslam_addsemantic 项目地址: https://gitcode.com/gh_mirrors/or/orbslam_addsemant...
SLAM_YOLOv5: 实时视觉定位与目标检测的完美融合
gitblog_00087的博客
04-04 1416
SLAM_YOLOv5: 实时视觉定位与目标检测的完美融合 项目地址:https://gitcode.com/ChenJiahao031008/SLAM_YOLOv5 在计算机视觉领域，SLAM (Simultaneous Localization and Mapping) 和 YOLOv5 是两个重要的技术方向。SLAM主要用于无人车、无人机等环境中的实时定位和地图构建，而YOLOv5则是一种高...
【目标检测】yolov5简单实战
zgsdzzh的博客
01-29 1770
使用了CSP结构，将feature_map分为两个part，一个part用于继续使用网络处理，其余经过简单处理直接加在第一个part的输出上（整体与ResNet有区别，ResNet是整个加上去）yolov5的图片输入部分，使用了Mosaic进行数据增强，将几张图片融合在一起，丰富了检测目标的背景，同时在计算batch_size normalization 时计算更快。和yolov3，yolov4类似，生成多尺度的anchors，可以进行多尺度的预测。使用了FPN+PAN，可以进行高低层特征融合。
python-YoloV5模型目标检测应用案例
ducanwang的博客
03-14 617
YOLOv5 是一种非常流行的实时目标检测模型，它提供了出色的性能和精度。下面是一个使用 Python 和 YOLOv5 进行目标检测的基本应用案例。
YOLOV5实战教程（超级详细图文教程）！！！
qq_43450443的博客
04-04 1万+
1.本文的目的在于帮助读者实现yolov5的训练，测试以及使用，偏重应用，将有较少代码讲解2.本文将首先示范使用coco128数据集进行训练，向读者展示整个模型的使用过程，之后介绍如何制作自己的数据集并进行训练3.本文使用的数据集coco128放在网盘里了，如果没有这个数据集的话可以去网盘上下载，yolov5的环境配置可以参考站内其他文章。链接：https://pan.baidu.com/s/1MYSzPkPVUxpE1wt7zUxO0g提取码：8r4i。
目标检测YOLO实战应用案例100讲-联合深度图聚类与目标检测的语义SLAM算法研究
qq_36130719的博客
06-17 1528
目标检测的研究可以追溯到20世纪90年代[18]，2014年R-CNN[1]的提出标志着目标检测从传统手工特征时代进入到深度学习时代。2014年之前可以称为传统目标检测时代，其最具代表性的方法有VJ检测器[19]、HOG检测器[20]、DPM检测器[21]。它们有着共同的特点就是使用手工设计的特征描述子如方向梯度直方图[20]（Histogramof Oriented Gradient，HOG）来提取图像特征，使用机器学习方法如SVM或AdaBoost分类器来分类目标。
目标检测YOLO实战应用案例100讲-基于激光雷达点云的三维目标检测算法研究（中）
qq_36130719的博客
04-22 335
通过计算IoU和人为设定IoU的阈值，从而确定一个检测结果（Positive）是正确的（True）还是错误的（False），从而进一步得到每一个检测结果是真正例（True Positives）、和方向的偏差，但也在可承受范围内，具有一定的鲁棒性。之具有一定的精准度；第二，利用卷积神经网络对3D特征信息进行提取，然后再 利用重投影、模板匹配等诸多算法，对位置信息进行计算，由此得到三维检测框。3D空间数据进行投影，使之转换成不同平面，接着对不同视角影像图特征进行融合，对目标在立体空间中的信息进行动态检测。
目标检测YOLO实战应用案例100讲-高分辨率显著性目标检测算法研究(续)
qq_36130719的博客
09-19 205
高级语义特征包含丰富的语义信息和较强的特征表达能力，低层次语义特征具有丰 富的空间细节和明确的边缘信息。具体地，经过头部瓶颈模块处理的包含大量显著性目标的空间细节信息 的特征图被送入空间细节路径，经11卷积、BN和ReLU对特征图处理，增加特征图 的通道数以减少在后续操作中带来的特征信息丢失。图3-3为 本文提出的模型的可视化处理过程，可以显式地观察到本文提出的全局上下文路径可以 聚焦于显著的前景目标，空间细节路径可以提取显著目标的边界，二者互补可以达到一 个精确的分割结果。
yolov5的使用
weixin_38849487的博客
09-12 485
具体来说，torchvision.datasets.CocoDetection用于创建一个COCO目标检测数据集，该数据集的根目录为’./data’，标注文件路径为’./data/annotations/instances_train2017.json’，并对数据进行转换（ToTensor）。然后，torch.utils.data.DataLoader用于创建一个数据加载器，它将数据集划分为大小为16的批次，并随机打乱数据，同时使用4个工作线程来加载数据。因此，以上程序输出的训练模型名字是yolov5s。
目标检测YOLO实战应用案例100讲-基于YOLOv5的船舶检测(续)
qq_36130719的博客
10-19 516
RLE标签普遍用于实例分割中，而目标检 测任务中常用的标签格式是VOC格式，VOC使用四个坐标值来描述目标框的 位置。制作标签后，对XML文件中的数据进行读取，将文件中的标注信息显示在 图像上，示例如图3.2所示。训练的数据集样本分布不均衡时，就意味着样本不够有代表性，会导致训 练出来的模型没有很好的泛化能力，扩充数据集从而使数据集全面、多样、有 代表性是解决这个问题的好方法。（3）增加噪声：在图像中增加噪声干扰，输入检测模型进行训练后，对应 用中出现的噪声具有抗干扰的能力，提高算法模型的检测性能。
UNIX SOCKET简介
zhangkun2609的博客
11-17 2万+
      UNIX Domain SOCKET 是在Socket架构上发展起来的用于同一台主机的进程间通讯（IPC）。它不需要经过网络协议栈，不需要打包拆包、计算校验和、维护序列号应答等。只是将应用层数据从一个进程拷贝到另一个进程。UNIX Domain SOCKET有SOKCET_DGRAM和SOCKET_STREAM两种模式，类似于UDP和TCP，但是面向消息的UNIX socket也是可靠...
ORB_SLAM3结合YOLO实现特征点标记和目标空间定位 | 1环境配置
陈念Cheniana
04-01 1867
ORB_SLAM3结合YOLO实现特征点标记和目标空间定位
YOLOV5实战（pycharm)-以口罩检测为例
zzqingyun的博客
07-09 3940
但是在服务器上好像不可以通过电脑的摄像头进行测试。
动态场景下的语义SLAM的简单实现（基于YOLOv5目标检测）
热门推荐
jiny_yang的博客
04-11 3万+
动态场景下的语义SLAM的简单实现 使用YOLOv5，进行了室内动态场景下的语义SLAM。在个别数据集上的表现超越了DS-SLAM 基于YOLO等目标检测算法，检测出图像的语义信息并分辨出图像中动态物体和静态物体，并剔除动态物体
ubuntu22.04.yolov5和orbslam2结合代码复现
qq_44804057的博客
05-29 555
问题3：error: static assertion failed: std::map must have the same value_type as its allocator。在frame.cc中第1162行 const float d = imDepth.at(v,u);detect_speedup_send.py 文件（可能还有别的地方，文件未找到都是路径有问题，多找一找）最近想学习slam结合深度学习的内容，我用了一位博主的代码在ubuntu22.04上进行复现，原帖如下。
yolov5 slam
08-05
Yolov5和SLAM是两个不同的概念，可以通过结合使用来实现一些应用。Yolov5是一个目标检测算法，用于在图像或视频中检测出物体的位置和类别。而SLAM（Simultaneous Localization and Mapping）是一种同时进行定位和地图构建的技术，主要用于无人车、无人机等自主导航系统中。 在引用中的描述中，作者结合了Yolov5和orbslam2来实现动态场景下的语义SLAM。具体的实现路径是先使用Yolov5检测出动态物体和静态物体，然后将物体框数据传递到orbslam2中。在orbslam2中，作者去除了动态物体中的特征点，这样可以提高系统在高动态环境下的表现。 这种结合的实现方法可以使SLAM系统更好地处理动态场景，提高定位和地图构建的准确性。这样的方法在实时运行中也取得了较好的效果。更多关于这个实现方法的详细步骤可以参考引用中提供的文章。 总结来说，Yolov5和SLAM的结合可以提供更丰富的信息用于定位和地图构建，特别在动态场景下可以改善系统的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

林聪木

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值