cityscapes场景图_目标检测全景介绍上

最新推荐文章于 2024-09-20 20:52:20 发布

李开机呢

最新推荐文章于 2024-09-20 20:52:20 发布

阅读量741

点赞数

文章标签： cityscapes场景图

本文链接：https://blog.csdn.net/weixin_33773084/article/details/111978718

版权

本文是目标检测系列的上篇，介绍了从R-CNN、Fast R-CNN到Faster R-CNN的经典目标检测模型。R-CNN提出区域提案网络，Fast R-CNN通过共享卷积计算加速，Faster R-CNN则引入了RPN网络实现端到端训练，大大提升了检测速度和精度。

摘要由CSDN通过智能技术生成

原作者 | 李家丞( 同济大学数学系本科在读，现格灵深瞳算法部实习生)

近年来，深度学习模型逐渐取代传统机器视觉方法而成为目标检测领域的主流算法，本系列文章将回顾早期的经典工作，并对较新的趋势做一个全景式的介绍，帮助读者对这一领域建立基本的认识。(营长注：因本文篇幅较长，营长将其分为上、下两部分。)

导言：目标检测的任务表述

如何从图像中解析出可供计算机理解的信息，是机器视觉的中心问题。深度学习模型由于其强大的表示能力，加之数据量的积累和计算力的进步，成为机器视觉的热点研究方向。

那么，如何理解一张图片？根据后续任务的需要，有三个主要的层次。

图像理解的三个层次

一是分类(Classification)，即是将图像结构化为某一类别的信息，用事先确定好的类别(string)或实例ID来描述图片。这一任务是最简单、最基础的图像理解任务，也是深度学习模型最先取得突破和实现大规模应用的任务。其中，ImageNet是最权威的评测集，每年的ILSVRC催生了大量的优秀深度网络结构，为其他任务提供了基础。在应用领域，人脸、场景的识别等都可以归为分类任务。

二是检测(Detection)。分类任务关心整体，给出的是整张图片的内容描述，而检测则关注特定的物体目标，要求同时获得这一目标的类别信息和位置信息。相比分类，检测给出的是对图片前景和背景的理解，我们需要从背景中分离出感兴趣的目标，并确定这一目标的描述(类别和位置)，因而，检测模型的输出是一个列表，列表的每一项使用一个数据组给出检出目标的类别和位置(常用矩形检测框的坐标表示)。

三是分割(Segmentation)。分割包括语义分割(semantic segmentation)和实例分割(instance segmentation)，前者是对前背景分离的拓展，要求分离开具有不同语义的图像部分，而后者是检测任务的拓展，要求描述出目标的轮廓(相比检测框更为精细)。分割是对图像的像素级描述，它赋予每个像素类别(实例)意义，适用于理解要求较高的场景，如无人驾驶中对道路和非道路的分割。

本系列文章关注的领域是目标检测，即图像理解的中层次。

▌目标检测入门(一)：目标检测经典模型回顾

本文结构

两阶段(2-stage)检测模型

两阶段模型因其对图片的两阶段处理得名，也称为基于区域(Region-based)的方法，我们选取R-CNN系列工作作为这一类型的代表。

R-CNN: R-CNN系列的开山之作

Rich feature hierarchies for accurate object detection and semantic segmentation

论文链接：

https://arxiv.org/abs/1311.2524

本文的两大贡献：

1)CNN可用于基于区域的定位和分割物体；

2)监督训练样本数紧缺时，在额外的数据上预训练的模型经过fine-tuning可以取得很好的效果。

第一个贡献影响了之后几乎所有2-stage方法，而第二个贡献中用分类任务(Imagenet)中训练好的模型作为基网络，在检测问题上fine-tuning的做法也在之后的工作中一直沿用。

传统的计算机视觉方法常用精心设计的手工特征(如SIFT, HOG)描述图像，而深度学习的方法则倡导习得特征，从图像分类任务的经验来看，CNN网络自动习得的特征取得的效果已经超出了手工设计的特征。本篇在局部区域应用卷积网络，以发挥卷积网络学习高质量特征的能力。

R-CNN网络结构

R-CNN将检测抽象为两个过程，一是基于图片提出若干可能包含物体的区域(即图片的局部裁剪，被称为Region Proposal)，文中使用的是Selective Search算法；二是在提出的这些区域上运行当时表现最好的分类网络(AlexNet)，得到每个区域内物体的类别。

另外，文章中的两个做法值得注意。

IoU的计算

一是数据的准备。输入CNN前，我们需要根据Ground Truth对提出的Region Proposal进行标记，这里使用的指标是IoU(Intersection over Union，交并比)。IoU计算了两个区域之交的面积跟它们之并的比，描述了两个区域的重合程度。

文章中特别提到，IoU阈值的选择对结果影响显著，这里要谈两个threshold，一个用来识别正样本(如跟ground truth的IoU大于0.5)，另一个用来标记负样本(即背景类，如IoU小于0.1)，而介于两者之间的则为难例(Hard Negatives)，若标为正类，则包含了过多的背景信息，反之又包含了要检测物体的特征，因而这些Proposal便被忽略掉。

另一点是位置坐标的回归(Bounding-Box Regression)，这一过程是Region Proposal向Ground Truth调整，实现时加入了log/exp变换来使损失保持在合理的量级上，可以看做一种标准化(Normalization)操作。

小结

R-CNN的想法直接明了，即将检测任务转化为区域上的分类任务，是深度学习方法在检测任务上的试水。模型本身存在的问题也很多，如需要训练三个不同的模型(proposal, classification, regression)、重复计算过多导致的性能问题等。尽管如此，这篇论文的很多做法仍然广泛地影响着检测任务上的深度模型革命，后续的很多工作也都是针对改进这一工作而展开，此篇可以称得上"The First Paper"。

Fast R-CNN: 共享卷积运算

Fast R-CNN

论文链接：

https://arxiv.or