目标检测与YOLO(2) + 语义分割(FCN)

最新推荐文章于 2024-04-22 19:45:20 发布
最新推荐文章于 2024-04-22 19:45:20 发布
阅读量1.1k 收藏 4
点赞数 1
文章标签： python 目标检测 YOLO 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41968829/article/details/130019934
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

目录

一、YOLO网络结构

YOLOv1 网络结构

二、包围框与置信度

1. 包围框

2. 置信度

三、YOLO损失函数

四、YOLO训练与NMS

五、语义分割与FCN

1. 语义分割问题

2. 深度学习图像分割算法发展

3. 语义分割基本思想

4. FCN具体实现

5. FCN训练结果

6. FCN评价指标与标注工具

总结

一、YOLO网络结构

    YOLO 网络借鉴了 GoogLeNet 分类网络结构，不同的是 YOLO 使用 1x1 卷积层和 3x3 卷积层替代 inception module。如下图所示，整个检测网络包括 24 个卷积层和 2 个全连接层。其中，卷积层用来提取图像特征，全连接层用来预测图像位置和类别概率值。

YOLOv1 网络结构

    检测流程

  • 先将图片缩放到固定尺寸
  • YOLO 将输入图像划分为 S*S （论文中是 7×7）的栅格，每个栅格负责检测中心落在该栅格中的物体。

  • 每一个栅格预测 B （论文中是 2 个）个 bounding boxes（对每个边界框会预测 5 个值，分别是边界框的中心 x,y（相对于所属网格的边界），边界框的宽高 w, h（相对于原始输入图像的宽高的比例）），以及这些 bounding boxes 的 confidence scores。（边界框与 ground truth box 的 IOU 值）
  • 同时每个网格还需要预测 c （论文中的 c=20）个类条件概率 （是一个 c 维向量，表示某个物体 object 在这个网格中，且该 object 分别属于各个类别的概率，这里的 c 类物体不包含背景）
  • 每个网格需要预测 2x5+20=30 个值，这些值被映射到一个 30 维的向量
  • YOLO 最后采用非极大值抑制（NMS）算法从输出结果中提取最有可能的对象和其对应的边界框。（下面非极大抑制的流程）
    • 1. 设置一个 Score 的阈值，一个 IOU 的阈值（overlap）；
    • 2. 对于每类对象，遍历属于该类的所有候选框，①过滤掉 Score 低于 Score 阈值的候选框； ②找到剩下的候选框中最大 Score 对应的候选框，添加到输出列表； ③进一步计算剩下的候选框与②中输出列表中每个候选框的 IOU，若该 IOU 大于设置的 IOU 阈值，将该候选框过滤掉（大于一定阈值，代表重叠度比较高），否则加入输出列表中； ④最后输出列表中的候选框即为图片中该类对象预测的所有边界框
    • 3. 返回步骤 2 继续处理下一类对象。

 

更多详细解释可参考YOLO目标检测从V1到V3结构详解 - 腾讯云开发者社区-腾讯云 

二、包围框与置信度

1. 包围框

2. 置信度

 IoU（Intersection-over-Union）指标 IoU 简称交并比，顾名思义数学中交集与并集的比例。假设有两个集合 A 与 B, IoU 即等于 A 与 B 的交集除以 A 与 B 的并集，表达式如下：

在目标检测中，IoU 为预测框 (Prediction) 和真实框 (Ground truth) 的交并比。如下图所示，在关于小猫的目标检测中，紫线边框为预测框 (Prediction)，红线边框为真实框 (Ground truth)。

三、YOLO损失函数

 

    如上图所示，损失函数分为坐标预测（蓝色框）、含有物体的边界框的 confidence 预测（红色框）、不含有物体的边界框的 confidence 预测（黄色框）、分类预测（紫色框）四个部分。

    由于不同大小的边界框对预测偏差的敏感度不同，小的边界框对预测偏差的敏感度更大。为了均衡不同尺寸边界框对预测偏差的敏感度的差异。作者巧妙的对边界框的 w,h 取均值再求 L2 loss. YOLO 中更重视坐标预测，赋予坐标损失更大的权重，记为 coord，在 pascal voc 训练中 coodd=5 ，classification error 部分的权重取 1。

    某边界框的置信度定义为：某边界框的 confidence = 该边界框存在某类对象的概率 pr (object)* 该边界框与该对象的 ground truth 的 IOU 值 ，若该边界框存在某个对象 pr (object)=1 ，否则 pr (object)=0 。由于一幅图中大部分网格中是没有物体的，这些网格中的边界框的 confidence 置为 0，相比于有物体的网格，这些不包含物体的网格更多，对梯度更新的贡献更大，会导致网络不稳定。为了平衡上述问题，YOLO 损失函数中对没有物体的边界框的 confidence error 赋予较小的权重，记为 noobj，对有物体的边界框的 confidence error 赋予较大的权重。在 pascal VOC 训练中 noobj=0.5 ，有物体的边界框的 confidence error 的权重设为 1.

四、YOLO训练与NMS

NMS(非极大值抑制) 核心思想是：选择得分最高的作为输出，与该输出重叠的去掉，不断重复这一过程直到所有备选处理完。

YOLO训练代码可以参考

https://github.com/ayooshkathuria/YOLO_v3_tutorial_from_scratch

https://blog.csdn.net/Kefenggewu_/article/details/122186786

YOLO v1模型效果

YOLO v3模型效果

五、语义分割与FCN

1. 语义分割问题

2. 深度学习图像分割算法发展

3. 语义分割基本思想

滑动窗口➢ 滑动次数太多，计算太慢，重复计算太多

FCN网络结构➢

    网络结构分为两个部分：全卷积部分和反卷积部分。全卷积部分借用了一些经典的CNN网络，并把最后的全连接层换成卷积，用于提取特征，形成热点图；反卷积部分则是将小尺寸的热点图上采样得到原尺寸的语义分割图像。

4. FCN具体实现

    FCN中第6、7、8层都是通过1 × 1卷积得到的，第6层的输出是4096 × 7 × 7，第7层的输出是4096 × 7 × 7 ，第8层的输出是1000 × 7 × 7,即1000个大小是7 × 7的特征图（称为heatmap）。

    输出的特征图（称为heatmap），颜色越贴近红色表示对应数值越大。

更多详细解释可参考https://www.cnblogs.com/gujiangtaoFuture/articles/12177870.html

5. FCN训练结果

6. FCN评价指标与标注工具

 常见标注工具---Labelme, EISeg

总结

    以上就是今天要讲的内容，本文介绍了YOLOv1 网络结构，包围框与置信度，YOLO损失函数，YOLO训练与NMS算法，并了解了语义分割问题，深度学习图像分割算法发展，语义分割基本思想，FCN具体实现，FCN训练结果，FCN评价指标与标注工具。

GEMSarah
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
multiyolov5:基于ultralyticsyolov5的联合检测和语义分割，
08-05
Multi YOLO V5——检测和语义分割 概述 这是我的本科毕业项目，基于 。 这种多任务模型只增加了少量的计算和推理 GPU 内存（约 350MB），并且能够完成对象检测和语义分割。 我的数据集（从 Cityscapes 实例分割标签转移）上的对象检测指标略有改进（与单任务 YOLO 相比），Cityscapes 语义分割指标如下所示。 该存储库近期不会更新（在标记 TomMao-2.0 realse 之后） ，未来版本可能会发布到 。 为了节省我的时间和方便交接，请原谅我下面的文件将用中文写成。 在语义分割部分，我参考了如下代码： 是以增加少量计算和显存为老人，同时完成目标检测和存储分区（1024×512输入约增加350MB，同尺寸增加一个bisenet需要约1.3GB） ，两个单模型独立输入额外的东西）。 (尝试实验数据集)，分割指标模型验证集mIoU 0.73，测
yolo实现语义分割（cityscapes数据集）附源码
A837838900的博客
08-21 1万+
概述 语义分割是当今计算机视觉领域的关键问题之一。从宏观上看，语义分割是一项高层次的任务，为实现场景的完整理解铺平了道路。场景理解作为一个核心的计算机视觉问题，其重要性在于越来越多的应用程序通过从图像中推断知识来提供营养。其中一些应用包括自动驾驶汽车、人机交互、虚拟现实等，近年来随着深度学习的普及，许多语义分割问题正在采用深层次的结构来解决，最常见的是卷积神经网络，在精度上大大超过了其他方法。以及效率。 语义分割是从粗推理到精推理的自然步骤： 原理可以定位在分类，分类包括对整个输入进行预测。...
[神经网络与深度学习]算法估计，YOLO，语义分割，风格迁移
最新发布
weixin_56809732的博客
04-22 373
转置卷积：假设有一个2*2的输入张量和一个2*2的核张量，计算转置卷积就是将输入张量的每个张量乘以核张量，再将得到的结果相加。被正确地划分为正例的个数，FP为被错误地划分为正例的个数，FN为被错误地划分为负例的个数，TN为被正确地划分为负例的个数。（2）选择一个预训练的卷积神经网络来抽取图像的特征，其中的模型参数在训练中无须更新。类别均可确定对应的AP，在多类的检测中，取每个类AP的平均值，即为mAP。（4）模型训练结束时，输出风格迁移的模型参数，得到最终的合成图像。P（精确率）=TP/(TP+FP)
YOLOV8目标识别与语义分割——使用OpenCV C++ 推理模型
知来者逆的博客
01-06 3132
使用OpenCV DNN C++ 对yolov8s模型做推理部署，有模型转换方法问题注意项。
Yolov5同时进行目标检测和分割分割
热门推荐
IEEE_FELLOW的博客
12-13 4万+
基于yolov5(v6.0分支)的多任务检测和分割模型。 整体框架 参考： 1.[YOLOP: You Only Look Once for Panoptic Driving Perception](https://arxiv.org/abs/2108.11250) 2. GitHub - ultralytics/yolov5: YOLOv5 ???? in PyTorch > ONNX > CoreML > TFLiteYOLOv5 ???? in P
YOLO V8语义分割模型部署
qq_41694024的博客
10-23 1877
YOLO V8语义分割模型部署
YOLOv5+BiSeNet——同时进行目标检测和语义分割
兴趣使然的创作者
08-02 1万+
双厨狂喜
深度学习 pytorch从图像分类→神经网络学习深入→目标检测→语义分割,简易版本学习推荐
08-07
图像分类是深度学习中最常见的任务之一，它的目标是将输入的图像分为不同的类别。...PyTorch提供了一些语义分割模型的实现，如FCN、DeepLab等。这些模型可以用于语义分割任务，并且可以通过训练和微调
用卷积滤波器matlab代码-CNN-paper2:深度学习卷积神经网络教程：图像识别，目标检测，语义分割，实例分割，人脸识别，神经风格转换，
05-21
YOLO Pelee R-FCN FPN RetinaNet MegDet DetNet ZSD RFBNet DeNet 从MobileNet到ShuffleNet 神经风格转换 人脸识别 图像分割 N种卷积 GANs anchor free 常用图像分类CNN结构 ConvNet：卷积神经网络名称 ImageNet ...
《机器视觉》郑东强_第5章2_回归与分类5.19.pptx
06-02
YOLO（You Only Look Once）是一个著名的目标检测框架，如YOLOv3，它将图像划分为网格，并预测每个网格内的对象。每个预测框包含坐标(x, y, w, h)来定位对象以及置信度分数，加上80个可能类别的概率，总共需要255个...
yolo_segmentation:图像（语义分割）通过暗网或 yolo 进行实例分割
05-29
yolo_segmentation 代码是通过暗网获取分割图像 在我的项目过程中，我在某些方面引用了 nithi89/unet_darknet 并且 nithilan 给了我很多重要的 建议，感谢他，如果你有兴趣可以访问他的主页。 这是我的第三个版本，我添加了扩张卷积，现在它没有那么完美的结果，但我认为它对我来说已经足够了。 后续我会继续更新，敬请期待。 [运行我的项目的共同点] 编译： make -j8 火车： ./darknet segmenter train cfg/maskyolo.data cfg/instance_segment.cfg [pretrain weights file I gave to you] 测试： ./darknet segmenter test cfg/maskyolo.data cfg/instance_segment.cfg [w
yolo v3的网络结构
12-25
yolo v3的网络结构，用于目标检测，语义分割，内容较多，此处仅仅只是其网络结构。
基于轻量化重构网络的表面缺陷视觉检测.docx
02-23
在实现像素级检测精度方面，一些研究者使用了分割网络，例如 Huang 等用 U 型网络（U-Net）构建的检测网络将缺陷检测任务转化为语义分割任务，提高了磁瓦表面检测的准确率。Qiu 等采用全卷积网络（Full ...
【YOLO】语义分割和实例分割（四）
Explore_Zhou
10-19 1423
在之前的实践过程中，总结了如何使用YOLOv5进行目标识别，从环境搭建到训练自己的数据集，再到将训练好的模型使用OpenCV部署，这篇文章主要是拓展一下应用领域——语义分割，还是以应用入门为主。
【经典论文解读】YOLACT 实例分割（YOLOv5、YOLOv8实例分割的基础）
黎国溥
04-30 2万+
YOLACT是经典的单阶段、实时、实例分割方法，在YOLOv5和YOLOv8中的实例分割，也是基于 YOLACT实现的，有必要理解一下它的模型结构和设计思路。
深度学习（十八）——YOLOv2(2), 语义分割
antkillerfarm的专栏
02-26 4520
YOLOv2 Stronger（续） Hierarchical classification（层次式分类） ImageNet的标签参考WordNet（一种结构化概念及概念之间关系的语言数据库）。例如： 很多分类数据集采用扁平化的标签。而整合数据集则需要结构化标签。 WordNet是一个有向图结构（而非树结构），因为语言是复杂的（例如“dog”既是“canine”又是“domestic ...
联合目标检测和语义分割——学习笔记
qq_45925282的博客
03-10 9090
联合目标检测和语义分割 目标检测 目标检测是一种与计算机视觉和图像处理相关的计算机技术，用于检测数字图像和视频中特定类别的语义对象（例如人，建筑物或汽车）的实例。然而现实中物体的尺寸、姿态、位置都有很大的差异，甚至还可能出现重叠现象，这使得目标检测的难度变得很大。 图1：目标检测示意图https://en.wikipedia.org/wiki/Object_detection 什么是目标检测 目标检测的任务是找出感兴趣的目标，确定他们的类别和位置，这也是计算机视觉的核心问题之一。计算机视觉中关于图像识别有
《神经网络与深度学习》学习笔记（4）目标检测综述、YOLO、语义分割概述、FCN、风格迁移、人脸识别、视觉应用展望
dazeham的博客
04-14 202
作者目前为某高校在读研究生，本文是应《神经网络与深度学习》课程的授课教师要求撰写的课程总结，如有纰漏欢迎指正。本文内容主要是对参考文献[1]和授课教师课程PPT的归纳与分析，因此使用了上述文献的部分内容，若存在侵权恳请联系作者及时删除。YOLO作为一种非常具有代表性的一步算法，也继承了其主要特点，即无需像RCNN一样生成候选框，可以直接预测得到结果。这使得YOLO具有两步法所不具备的快速性。
yolo 能实现语义分割吗
08-02
YOLO（You Only Look Once）是一种常用的目标检测算法，它的主要优势是速度快。然而，现有版本的YOLO并不能直接应用于语义分割任务。 语义分割是指将图像中的每个像素分配给特定的语义类别，将图像划分为不同的区域。而YOLO是基于单个边界框进行目标检测，在像素级别上进行语义分割需要更为精细的像素标记和分割信息。 虽然YOLO的输出可以提供物体的位置和类别信息，但是它缺少像素级别的细节，无法提供每个像素的类别标记。因此，直接使用YOLO进行语义分割是困难的。 实现语义分割通常需要使用特定的架构，如Fully Convolutional Network（FCN），U-Net，DeepLab等。这些架构基于卷积神经网络（CNN），可以将特征提取和像素级别的分类结合起来，得到像素级别的语义分割结果。 虽然YOLO可以用于目标检测，并且还有一些扩展版本可以用于实现实例分割（Instance Segmentation），但要实现语义分割，目前的研究主要集中在基于CNN的特定架构或深度学习模型上。 因此，尽管YOLO是一种优秀的目标检测算法，但目前无法直接实现语义分割任务，需要使用其他特定的架构和模型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值