深度学习论文笔记：YOLO9000

最新推荐文章于 2024-10-14 16:03:21 发布
最新推荐文章于 2024-10-14 16:03:21 发布
阅读量1.3k 收藏 3
点赞数
分类专栏： 论文笔记 目标检测 深度学习 文章标签： 深度学习 YOLO 目标检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JacobKong/article/details/55673460
版权

Abstract

  • YOLO9000: a state-of-the-art, real-time 的目标检测系统，可以检测超过9000种的物体分类。
  • 本论文提出两个模型，YOLOv2和YOLO9000。
  • YOLOv2：
    • 是对YOLO改进后的提升模型。
    • 利用新颖的，多尺度训练的方法，YOLOv2模型可以在多种尺度上运行，在速度与准确性上更容易去trade off。
  • YOLO9000：
    • 是提出的一种联合在检测和分类数据集上训练的模型，这种联合训练的方法使得YOLO9000能够为没有标签的检测数据目标类预测。
    • 可以检测超过9000个类。

Introduction

  • 目前，许多检测方法依旧约束在很小的物体集上。
  • 目前，目标检测数据集相比于用于分类和标注的数据集来说，是有限制的。
    • 最常见的检测数据集包含数十到数十万的图像，具有几十到几百个标签，比如Pascal、CoCo、ImageNet。
    • 分类数据集具有数以百万计的图像，具有数万或数十万种类别，如ImageNet。
  • 目标检测数据集永远不会达到和分类数据集一样的等级。
  • 本论文提出一种方法，利用分类数据集来作为检测数据集，将两种截然不同的数据集结合。
  • 本论文提出一个在目标检测和分类数据集上联合训练的方法。此方法利用标记的检测图像学习精确定位对象，而它使用分类图像增加其词汇和鲁棒性。

Better

  • YOLO产生很多的定位错误。而且YOLO相比于region proposal-based方法有着相对较低的recall（查全率）。所以主要任务是在保持分类准确率的前提下，提高recall和减少定位错误。

  • 我们从过去的工作中融合了我们自己的各种新想法，以提高YOLO的性能。 结果的摘要可以在表中找到：

Batch Normalization

  • 得到2%的mAP的提升，使用Batch Normalization，我们可以从模型中删除dropout，而不会出现过度缺陷。

High Resolution Classifier

  • 对于YOLOv2，我们首先在ImageNet对全部448×448分辨率图像上进行10epochs的微调来调整分类网络。 然后我们在检测时调整resulting network。 这种高分辨率分类网络使我们增加了近4％的mAP。

Convolutional With Anchor Boxes

  • YOLO利用卷积特征提取器最顶端的全连接层来直接预测BB的坐标。而Faster R-CNN是利用首选的priors来预测BB。
  • 预测BB的偏移而不是坐标可以简化问题，并使网络更容易学习。本论文从YOLO中移去了全连接层，并且利用anchor box来预测BB。
  • 我们移去了pooling层，使得网络的卷积层的输出有更高的像素。
  • 同时将网络缩减到在416*416像素的图片上操作。 我们这样做是因为我们想要特征图中具有奇数个位置，因此存在单个中心单元。
  • 当我们移动到anchor boxes时，我们也将class prediction机制与空间位置解耦，而是为每个anchor box预测的类和对象。 同YOLO一样，objectness prediction仍然预测ground truth和所提出的框的IOU，并且class predictions预测该类的条件概率，假定存在对象。(没太懂)

Dimension Clusters

  • 将YOLO与anchor boxes结合有两个问题，第一个是anchor box的长宽是认为选定的。

  • 我们不是手动选择先验（priors），而是在训练集边界框上运行k-means聚类，以自动找到好的先验。

    • 我们真正想要的是导致良好的IOU分数的priors，这是独立于盒子的大小。 因此，对于我们的distance metric，我们使用：

      d(box,centroid)=1−IOU(box,centroid)

    • 我们选择k = 5作为模型复杂性和高召回率之间的良好权衡。这样非常不同于相比于人工选择的boxes。更多的又高又瘦的boxes。

Direct location prediction

  • 将YOLO与anchor boxes结合有两个问题，第二个模型不稳定，特别是在早期迭代中。

  • 并非预测偏移，我们遵循YOLO的方法并预测相对于网格单元的位置的位置坐标。 这将ground truth限制在0和1之间。我们使用逻辑激活来约束网络的预测落在该范围内。

  • 网络为每一个BB预测5个坐标： tx,ty,tw,th,to .

      ![](https://ww2.sinaimg.cn/large/006tKfTcjw1fcjb6g0tdpj309203r0st.jpg)  ![](https://ww1.sinaimg.cn/large/006tKfTcjw1fcjbl2jwc6j30bj09k3z4.jpg)

  • 结合Dimension Clusters和Direct location prediction，YOLO提升5%的mAP。

Fine-Grained Features

  • 修改后的YOLO在13*13的feature map上进行检测。 虽然这对于大对象是足够的，但是它可以从用于定位较小对象的细粒度特征中受益。
  • 添加一个传递层，将分辨率从前面的层变为从26 x 26分辨率。

Multi-Scale Training

  • 我们希望YOLOv2可以足够鲁邦在不同尺寸的images上进行训练。
  • 并非使用固定的输入图像尺寸，我们在每几次迭代后改变网络。每10batches，我们的网络随机选择一个新的图像尺寸。

Faster

  • 大多数检测框架依赖VGG-16作为基本特征提取器。VGG-16是一个强大、准确的分类网络，但是也很复杂。
  • YOLO框架使用的基于Googlenet架构的修改后的网络。比VGG-16快速，但是准确性比VGG-16稍差。

Darknet-19

  • 供YOLOv2使用的新的分类模型。

  • 最终模型叫做darknet-19，有着19个卷积层和5个maxpooling层。

  • Darknet-19处理每张图片只需要5.58 billion的操作。

Training for classification

  • 在标准的ImageNet 1000类的数据集上利用随机梯度下降训练160 epochs。开始学习率为0.1，polynomial rate decay 是4，weight decay是0.0005，动量是0.9。
  • 在训练期间，我们使用标准的数据增加技巧，包括随机裁剪，旋转，以及色调，饱和度和曝光偏移。
  • 在224x224分辨率的图像上进行预训练，然后在448x448分辨率的图像上进行微调。

Training for detection

  • 我们通过去除最后的卷积层来修改这个网络，并且替代地增加具有1024个滤波器的三个3×3卷积层，每个跟随着具有我们需要检测所需的输出数量的最后的1×1卷积层。
  • passthrough层的添加：使网络能够使用fine grain feature。

Stronger

  • 本论文提出一种机制，用来将分类和检测数据结合起来再一起训练。
    • 在训练过程中，当看到用于检测的被标注的图片，我们会使用基于YOLOv2的代价函数进行反向传播。
    • 在训练过程中，当看到分类图片，我们只从框架中用来分类部分来传递损失。
  • 这种方法的challenge：
    • 检测数据集中的标签是大分类，而分类数据集的标签是小分类，所以我们需要找一个方法来融合这些标签。
    • 用来分类的许多方法都是使用softmax层来计算最后的概率分布，使用softmax层会假设类之间是互斥的，但是如何用本方法融合数据集，类之间本身不是互斥的。
  • 我们所以使用multi-label模型来结合数据集，不假设类之间互斥。这种方法忽略了我们已知的数据的结构。

Hierarchical classification

  • ImageNet标签是从WordNet中得来，一种结构化概念和标签之间如何联系的语言数据库。
  • WordNet是连接图结构，而非树。我们相反并不实用整个图结构，我们将问题简化成从ImageNet的概念中构建有结构的树。
  • WordTree

Dataset combination with WordTree

  • 我们可以使用WordTree来介个数据集。

  • 将数据集中分类映射成树中的下义词。

  • 举例：将ImageNet和COCO数据集结合：

  • WordNet十分多样化，所以我们可以利用这种技术到大多数数据集。

Joint classification and detection

  • 将COCO数据集和ImageNet数据集结合，训练处一个特别大规模的检测器。
  • 对应的WordTree有9418个类。
  • ImageNet是一个更大的数据集，因此我们通过对COCO进行过采样来平衡数据集，使ImageNet只以4：1的倍数来增大。
  • 当我们的网络看见一张用来检测的图片，我们正常反向传播loss。对于分类loss，我们只在该label对应层次之上反向传播loss。比如：如果标签是“dog”，我们会在树中的“German Shepherd”和“Golden Retriever”中进一步预测错误，因为我们没有这些信息。
  • 当我们的网络看见一张用来分来的照片，我们只反向传递分类loss。
  • 使用这种联合训练，YOLO 9000使用COCO中的检测数据学习找到图像中的对象，并使用ImageNet中的数据学习分类各种各样的对象。
  • 在ImageNet上利用YOLO9000来做detection，从而进行评估。ImageNet和COCO只有44个相同的类分类，意味着YOLO9000在利用部分监督来进行检测。

Conclusion

  • 本论文提出两个模型，YOLOv2和YOLO9000。
    • YOLOv2：是对YOLO改进后的提升模型。更快更先进。此外，它可以以各种图像大小运行，以提供速度和精度之间的权衡。
    • YOLO9000：是提出的一种联合在检测和分类数据集上训练的模型，可以为没有任何标注检测标签的数据进行检测。可以检测超过9000个类。使用WordTree技术来组合不同来源的数据。
  • 我们创造出许多目标检测之外的技术：
    • WordTree representation.
    • Dataset combination.
    • Multi-scale training.
  • 下一步工作：我们希望利用相似的技术来进行weakly supervised image segmentation. 
JacobKong
关注
专栏目录
【论文阅读笔记】YOLO9000: Better, Faster, Stronger
梁瑛平的博客
02-19 715
YOLO9000: Better, Faster, Stronger（一）论文地址：（二）核心思想：（三）YOLO 的不足：（四）Batch Normalization：（五）High Resolution Classifier：（六）Convolutional With Anchor Boxes：（七）Dimension Clusters（八）Fine-Grained Features：（九）M...
机器学习笔记 - YOLO家族简介
学以致用 知行合一
04-09 4678
目标检测是计算机视觉中最重要的课题之一。大多数计算机视觉问题都涉及检测视觉对象类别，如行人、汽车、公共汽车、人脸等。这一领域不仅限于学术界，而且在视频监控、医疗保健、车载传感和自动驾驶。 许多用例，尤其是自动驾驶，需要高精度和实时推理速度。因此，选择适合速度和准确性要求的物体检测器变得至关重要。YOLO（You Only Look Once）是一种单级目标检测器，用于实现两个目标（即速度和准确性）。而今天，我们将通过涵盖所有 YOLO 变体（例如，YOLOv1、YOLOv2、......
YOLOv1，YOLOv2 & YOLO9000 论文解读
JerryZhang__的博客
12-31 1135
paper title：You only look once: Unified, real-time object detection paper link：https://arxiv.org/pdf/1506.02640.pdf oral presentation：https://www.youtube.com/watch?v=NM6lrxy0bxs darknet YOLO： https://...
yolo9000论文笔记
weixin_30677073的博客
03-26 123
1.19.7 mAP imagenet detection 2. 67 FPS 76.8 mAP VOC 2007 3. 40 FPS 78.6 mAP 4.物体识别目的： 更快，更准，识别更多的物体 5.数据集： Our method uses a hierarchical view of object classification that allows us to combine di...
YOLOv5 Anchor 训练与预测时的区别，为什么推理的时候不需要输入 Anchor ，Detect头解析
最新发布
youngboy的博客
10-14 909
在 YOLOv5 中，Detect 类通过 register_buffer 将 Anchor 注册为模型的缓冲区。这种方式确保了 Anchor 不会被视为模型的可训练参数，并且在模型转移到不同设备或者保存和加载时，Anchor 的值能保持一致。Anchors 在推理阶段用于解码网络输出的特征图，生成实际的边界框。虽然在训练过程中 Anchors 似乎没有被直接使用，但它们在目标分配和损失计算中起到了至关重要的作用。
论文笔记 | YOLO9000论文阅读笔记(一)
kangdk 视其所以，观其所由，察其所安。
08-13 1961
CVPR 2017刚刚结束，心想选几篇论文拜读一下，大牛就是大牛，仅供瞻仰。 YOLO9000: Better, Faster, Stronger 由华盛顿大学艾伦研究所的大牛Josehp Redmon、Ali Farhadi共同完成，获得CVPR 2017 最佳论文鼓励奖。 YOLO9000对YOLO模型进行改进，速度、精确度均有提升，提出了一种将分类与检测训练过程相结合的方法，使模型可以同
论文笔记 | YOLO9000论文阅读笔记(二)
kangdk 视其所以，观其所由，察其所安。
08-13 1229
更快 速度与准确率对于检测任务都是非常重要的。大多数的检测任务，如机器人或自动驾驶汽车均依赖于低延迟的预测。 大多数检测架构均将VGG-16作为基础特征提取器。VGG-16是一种强大的、精确的分类网络，但同样存在大量冗余。对于一副224x224的图像，VGG-16的卷积层迭代一次就需要306.9亿次浮点运算。 YOLO架构使用基于GoogleNet的经典架构，该网络比VGG-16更快，前向传
YOLO9000: Better, Faster, Stronger （Yolov2）论文详细解读
码农研究僧的博客
10-31 1007
You Only Look Once: Unified, Real-Time Object Detection（Yolov1） 论文详细解读论文解读栏目（实时更新阅读）YOLOv1检测速度快，但是精度没有R-CNN高，但它是一阶段的初始代表。YOLOv2将其YOLOv1的精确度以及召回率提高，来提高mAP更准确、更快、类别更多（用于检测9000种类别）以下章节也是随着标题进行解析。
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 10万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
【YOLO详解】You Only Look Once（一）：YOLO 原论文笔记
HicSuntLeones
02-09 2528
You Only Look Once: Unified, Real-Time Object Detection ; Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi; University of Washington, Allen Institute for AI, Facebook AI Research 原文：https://arxiv.org/pdf/1506.02640.pdf 我：和 YOLO 小打小闹半年了 也是我：这是什.
【YOLOv8改进】BiFPN：加权双向特征金字塔网络 (论文笔记+引入代码)
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
02-04 8689
给定一组多尺度特征，其中表示第层的特征。我们的目标是找到一个变换能够有效的聚合不同的特征，输出新的一组特征。例如图2(a)所示，它是一个经典的top-down FPN结构，此时有，其中表示输入图像大小的特征图。例如，当输入大小为时，level 3特征图大小为，level 7特征图大小为。经典的FPN以top-down形式聚合多尺度特征的方式可以用下面方程表示：其中，Resize通常是一个上采样或者下采样操作，使得分辨率对齐。
YoloV2/Yolo9000 论文解读与理解
zhuguiqin1的专栏
03-01 1662
摘要： 与YoloV1相比，Yolo9000不光检测速度快，检测超过9000个目标类别。 使用一种新颖的，多尺度训练方法，同样的YOLOv2模型可以以不同的尺寸运行，从而在速度和准确性之间提供了一个简单的折衷。 在67FPS时，YOLOv2在VOC 2007上获得了76.8 mAP。在40FPS时，YOLOv2获得了78.6 mAP，比使用ResNet的Faster R-CNN和SSD等先进方法表现更出色，同时仍然运行速度显著更快。 提出了一种联合训练目标检测与分类的方法。 使用这种方法，在COCO检测数
YOLO9000论文详解
weixin_52185313的博客
04-26 867
YOLO-9000论文详解 – 潘登同学的目标检测笔记 文章目录YOLO-9000论文详解 -- 潘登同学的目标检测笔记YOLO-9000介绍TOLO-v2的10个改进YOLO-9000的思想Hierarchical classificationYOLO-9000 YOLO-9000介绍 YOLO-9000是YOLO-v2 + 9000分类 TOLO-v2的10个改进 Batch Normalization: 对mAP有2%的提升, 同时有了BN层就可以不用Dropout了 High Resolutio
YOLOv2：突破极限：YOLO9000 论文解读 - 构建更好、更快、更强大的实时检测系统
YOLOv8项目贡献者
05-24 2310
YOLOv2 论文全篇完整翻译
深度学习论文笔记：YOLO
JacobKong的博客
02-18 4444
Abstract 之前的物体检测的方法是使用分类器来进行检测。 相反，本论文将对象检测作为空间分离的边界框和相关类概率的回归问题。 本论文的YOLO模型能达到45fps的实时图像处理效果。 Fast YOLO：小型的网络版本，可达到155fps。 与目前的检测系统相比，YOLO会产生更多的定位错误，但是会更少的去在背景中产生false positive。 Introduction DPM: use
深度学习论文翻译 -- YOLO-V2
DAOCHI
11-19 291
本文翻译为目标检测论文系列：YOLO-V2，YOLO9000：Better, Faster, Stronger 论文链接：https://arxiv.org/pdf/1612.08242v1.pdf 开源代码：http://pjreddie.com/yolo9000/ Abstract 我们引入新的目标检测模型，YOLO9000，顶级的实时目标检测系统，可以检测超过9000类目标。首先，我们介绍针对YOLO-V1的改进工作，在前面工作的基础上，提出新的方法和思想。改进的YOLO-V2模型，在PASCAL
YOLO2论文解读：YOLO9000: Better, Faster, Stronger
zhuangshuohao的博客
12-06 679
本文主要依据YOLO1论文翻译而来，论文可阅读自cvpr2017： http://openaccess.thecvf.com/content_cvpr_2017/papers/Redmon_YOLO9000_Better_Faster_CVPR_2017_paper.pdf 摘要 使用多尺度训练，YOLOv2可以适应不同的图像大小，速度和精度都有权衡； 相比Faster R-CNN和SSD，检测...
YOLOv2、YOLO9000论文笔记
zephyr_wang的博客
09-22 277
1. 简介： 从2016年论文《YOLO9000:Better, Faster, Stronger》翻译总结的。物体实时检测，可以检测9000多种物体。 介绍了YOLOv2、YOLO9000。YOLOv2在YOLO基础上进行了改进。YOLO9000联合优化detection和classification，可以检测9000种物体分类，使用了wordtree 来组合不同来源的数据，比如ImageNet和COCO。 文中主要是和fast r-cnn 、SSD对比。YOLO是单步检测，在准确率和速度方面权衡。 2.
机器学习与深度学习入门：从基础到计算机视觉实践
本资源是一份关于机器学习、深度学习及计算机视觉的入门基础读物，涵盖了丰富的理论知识和实践技巧。主要内容包括： 1. **机器学习基础**： - 监督学习：监督学习是机器学习的核心部分，涉及到一元线性回归、多元...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值