【深度学习与神经网络】目标检测及语义分割

最新推荐文章于 2024-07-30 16:33:41 发布
最新推荐文章于 2024-07-30 16:33:41 发布
阅读量806 收藏 10
点赞数 9
文章标签： 深度学习 神经网络 目标检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74788218/article/details/137874075
版权
本文探讨了目标检测中的滑动窗口问题，重点介绍了YOLO（YouOnlyLookOnce）的一步法解决策略，包括其网络结构、输入处理、输出和置信度计算。同时，对比了语义分割，强调了FCN（FullyConvolutionalNetworks）在图像像素分类中的应用和评价指标。
摘要由CSDN通过智能技术生成

目标检测

目标检测问题

目标检测是在给定的图片中精确找到物体所在位置，并标注出物体的类别。物体的尺寸变化范围很大，摆放物体的角度，姿态不定，而且可以出现在图片的任何地方，并且物体还可以是多个类别。

基本思想

滑动窗口

问题1：滑动次数太多，计算太慢

问题2：目标大小不同，每一个滑动位置需要用很多框

改进：一步法（YOLO）

一步法

基本思想：将分类问题扩展为回归+分类问题

YOLO

网络结构

网络结构包含24个卷积层和2个全连接层；其中前20个卷积层用来做预训练，后面4个是随机初始化的卷积层，和2个全连接层。
 

YOLO网络输入

YOLO v1在PASCAL VOC数据集上进行的训练，因此输入图片为448 × 448 × 3。 实际中如为其它尺寸，需要resize或切割成要求尺寸。

YOLO模型处理

将图片分割为 𝑆2个grid(𝑆 = 7)，每个grid cell的大小都是相等的；

每个格子都可以检测是否包含目标；

YOLO v1中，每个格子只能检测一种物体（但可以不同大小）。

YOLO网络输出

输出是一个7 × 7 × 30的张量。对应7 × 7个cell；

每个cell对应2个包围框(bounding box, bb)，预测不同大小和宽高比，对应检测不同目标。每个bb有5个分量，分别是物体的中心位置(𝑥, 𝑦)和它的高(ℎ) 和宽 (𝑤) ，以及这次预测的置信度。

YOLO包围框

我们有 𝑠2个框，每个框的bb个数为𝐵，分类器可以识别出𝐶种不同的物体，那么所有整个ground truth的长度为𝑆 × 𝑆 × (𝐵 × 5 + 𝐶)

YOLO置信度

C=Pr(obj)*IOU_{truth}^{pred}

Pr(obj)是一个grid有物体的概率

IOU是预测的bb和真实的物体位置的交并比
 

YOLO损失函数

 语义分割

语义分割问题

找到同一画面中的不同类型目标区域

语义分割 vs 实例分割 vs 目标检测

实例分割：同一类型目标要分出来具体实例（谁是谁）

目标检测：标出来外包围矩形

深度学习图像分割算法

语义分割目标

 对图中每个像素进行分类，得到对应标签

基本思想：滑动窗口

FCN网络结构

网络结构分为两个部分：全卷积部分和反卷积部分。全卷积部分借用了一些经典的CNN网络，并把最后的全连接层换成卷积，用于提取特征，形成热点图；反卷积部分则是将小尺寸的热点图上采样得到原尺寸的语义分割图像。

卷积部分

 FCN中第6、 7、 8层都是通过1 × 1卷积得到的， 第6层的输出通道是4096， 第7层的输出通道是4096 ， 第8层的输出是1000（类） ,即1000个特征图（称为heatmap）

反卷积部分

为跳级结构

评价指标

像素准确率 

\frac{\sum_i{n_{ii}}^{}}{\sum_i{t_{i}}^{}}

平均准确率

\frac{1}{n_{cls}^{}}\cdot \sum_{i}^{}\frac{n_{ii}^{}}{t_{i}}

平均交并比

\frac{1}{n_{cls}}\cdot \sum_{i}^{}\frac{n_{ii}}{t_i+\sum_{j}^{}n_{ij}-n_{ii}}

远离debug
关注
YOLOv6的多任务学习：同时进行目标检测和语义分割
AI天才研究院
06-06 925
1. 背景介绍 目标检测和语义分割是计算机视觉领域中的两个重要任务。目标检测是指在图像或视频中检测出物体的位置和类别，而语义分割则是将图像中的每个像素分配到不同的语义类别中。这两个任务在很多应用场景中都有着广泛的应用，例如自动驾驶、智能安防、医学影像分析等。 近年来，深度学习技术的发展使得目标检测和语义分割的性能得到了大幅提升。其中，Y
吴恩达《深度学习专项》笔记（十二）：目标检测与语义分割简介 (YOLO, U-Net)
a119334的博客
08-09 3348
让我们把前几节的内容总结一下，看一下YOLO算法的全貌。在训练前，我们要对数据做预处理。首先，我们要指定以下超参数：图片切分成多大的格子、每个格子里有多少个锚框。之后，根据这些信息，我们可以得到每一个训练标签张量的形状。比如3×3×2×83×3×2×8的一个训练标签，表示图片被切成了3×33 \times 33×3的格子，每个格子有两个锚框。这是一个三分类问题，对于每一个检测出来的物体，都可以用一个长度为888的向量表示。其中，pcp_cpc​。...
神经网络与深度学习课程总结(四)——目标检测与语义分割
qq_40509664的博客
04-25 1826
以往的模型一个窗口只能预测一个目标，把窗口输入到分类网络中，最终得到一个预测概率，这个概率偏向哪个类别则把窗口内的目标预测为相应的类别”本质即在图像上预设好的不同大小，不同长宽比的参照框。输入图片输出为目标类别和目标的边界框——(c,x,y,w,h)5维的向量，c为有无目标的置信度。个框，每个框的bb个数为𝐵，分类器可以识别出𝐶种不同的物体，那么所有整个ground truth的长度为𝑆 × 𝑆 × (𝐵 × 5 + 𝐶),YOLO v1中，输出数量是30，YOLO v2和以后版本使用了自聚类的。
【100个深度学习实战项目】目标检测、语义分割、目标追踪、图像分类等应有尽有，持续更新~~~
最新发布
阿旭的博客
07-30 2007
【100个深度学习实战项目】目标检测、语义分割、目标追踪、图像分类等应有尽有，持续更新~~~
目标检测&语义分割简述
weixin_43364401的博客
04-17 887
语义分割与目标检测入门：若干经典工作综述
傻傻分不清目标检测、语义分割和实例分割，看这篇就够了
weixin_37522117的博客
03-19 3653
傻傻分不清目标检测、语义分割和实例分割，看这篇就够了
语义分割和目标检测是什么关系？
fengdu78的博客
05-27 5134
首先，让我们看一下语义分割和目标检测的目标分别是什么？语义分割的目标语义分割的任务是对输入的图像进行逐像素的分类，标记出像素级别的物体。如上图，图1中把猫、天空、树、草地进行了逐像素的分类；图2中把牛、天空、树、草地进行了逐像素的分类。目标检测的目标目标检测的任务是对输入的图像进行物体检测，标注物体在图像上的位置，以及该位置上物体属于哪个分类。如上图，模型把图中的人、狗、...
【Python深度学习】目标检测和语义分割的区别
Remote Sensing迷途小书童
10-10 4664
在计算机视觉领域，语义分割和目标检测是两个关键的任务，它们都是对图像和视频进行分析，但它们之间存在着明显的区别。本文将通过图像示例，详细阐述语义分割和目标检测之间的差异。
深度学习 pytorch从图像分类→神经网络学习深入→目标检测→语义分割,简易版本学习推荐
08-07
本篇文章将深入探讨PyTorch在图像分类、神经网络学习、目标检测和语义分割中的应用。 首先，图像分类是深度学习的基础任务。PyTorch提供了一些预训练的模型，如AlexNet、VGG、ResNet等，它们已经在大规模数据集如...
实验四-目标检测与语义分割实验四-目标检测与语义分割
04-23
在“实验四-目标检测与语义分割”中，参与者可能需要熟悉深度学习框架，如 TensorFlow 或 PyTorch，以及相关的库和工具，如 OpenCV 和 PIL，来进行数据预处理、模型构建、训练和评估。此外，理解如何可视化检测结果...
分类，目标检测，语义分割，实例分割
weixin_51226852的博客
10-31 3898
Classification 简单地说，图像分类是一种用于对图像中特定对象的类别进行分类或预测的技术，该技术的主要目的是准确识别图像中的特征。就是说输入一张图片然后输出图片中含有的分类 Object Detection 目标检测任务是给定一张图像或是一个视频帧，让计算机定位出这个目标的的位置并且知道目标物是什么，即输出目标的Bounding Box（边框）以及标签。 目标分割是检测到图像中的所有目标，分为语义分割（Semantic-level）和实例分割（Instance-level）.
神经网络学习笔记7——目标检测，语义分割和实例分割中的RCNN、Fast RCNN、Faster RCNN、FCN和Mask RCNN
qq_45848817的博客
11-26 4834
计算机视觉中关于图像识别有四大类任务： （1）分类-Classification：解决“是什么？”的问题，即给定一张图片或一段视频判断里面包含什么类别的目标。 （2）定位-Location：解决“在哪里？”的问题，即定位出这个目标的的位置。 （3）检测-Detection：解决“在哪里？是什么？”的问题，即定位出这个目标的位置并且知道目标物是什么。 （4）分割-Segmentation：分为实例的分割（Instance-level）和场景分割（Scene-level），解决“每一个像素属于哪个目标物或场景”
CVPR2021快报！目标检测和语义分割论文分类汇总 | 开放源码
迈微AI研习社 · 号主
03-11 2986
本周开始我将为大家持续分享最新的CVPR2021论文解读，本篇文章收录了目标检测和语义分割的最新论文合集，以最快的形式发送给需要阅读的迈微社友，每篇文章会给出论文链接以及作者开源的代码。
改进yolov5实现目标检测与语意分割项目
阿利同学的博客
02-23 2281
改进yolov5实现目标检测与语意分割项目：同时实现目标检测与语意分割的项目
目标检测，语义分割，实例分割 近期SOTA
slzlincent的博客
11-01 1731
准确率和fps兼具的一些最新方法 目标检测 CenterNet CornerNet FCOS 双目3D目标检测： Stereo R-CNN https://github.com/HKUST-Aerial-Robotics/Stereo-RCNN 3DSMFCNN https://github.com/libornovax/master_thesis_code 目标检测模型库：...
目标检测+语义分割=实例分割
MUYEFENX的博客
12-11 3185
目标检测：给你一张只有一条狗的图片，输入训练好的模型中（假设模型包含了所有类型的狗），不管狗出现在图片中的哪个位置，它都能被检测为狗；给你一张有两条狗的图片，输入网络，会生成两个bbox，均被检测为狗，无法进行个体的区分。 语义分割：对所有像素进行分类，图片中只要出现狗，都会被分为一类，同样无法进行个体的区分。 实例分割：在所有不同类的狗的像素都被分类为狗的基础上，对不同类的狗进行目标定位，再给上狗1和狗2的标签，这就是实例分割。 ...
图像语义分割和目标检测（中）
mez_Blog的博客
08-31 751
上一篇介绍的是使用与训练好的语义分割网络segmentation.fcn_resnet101(),对任意输入图像进行语义分割，该模型是以101层的ResNet网络为基础，全卷积语义分割模型。下面将基于VGG19网络，搭建、训练和测试自己的图像全卷积语义分割网络。 由于资源有限，将基于2012年VOC数据集对网络进行训练，主要使用该数据集的训练集和测试集，训练集用于训练网络，验证集防止网络过拟合。每个数据集越有1000张图片，并且图像之间的尺寸不完全相同，数据集共有21类需要学习的目标类别。下面首先导入本小
暑期深度学习PyTorch进阶指南：从图像分类到目标检测与语义分割
进入更复杂的任务，目标检测是深度学习的另一大挑战。PyTorch支持如Faster R-CNN、YOLO等流行算法，通过迁移学习，预训练模型能够适应新数据集，实现实时目标定位和识别。 语义分割则是深度学习的高阶应用，它要求...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值