Faster R-CNN论文阅读笔记

论文:Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
Github: Faster R-CNN

如果不了解R-CNN系列,建议先阅读这方面的论文,博客

相关知识

论文里采用了“Anchor”机制来生成候选区域,候选区域生成最简单粗暴的方法就是用多尺度(scale),多视场(aspect ratio)的Sliding Window来生成。

1794530-b2c7d8d4dc8f6846.png
Anchor机制解释图
  • 所谓多尺度(scale):可以简单的理解为将图片缩放成一系列图像,这些不同大小的图像就代表不同的尺度。尺度是一个相对的概念。如上图(a)所示。
  • 所谓多视场(aspect ratio):多视场这个是自己理解翻译的词。这个可以这么理解:对与图像中的某个目标比如猫,对猫的眼睛给个框,然后扩大这个框,把猫的脑袋也包括进来,然后继续扩大,把整个猫也包含进来。这来得到的一些框内的图像就算是多视场。如上图(b)所示

Sliding Window给出的候选区域就是多尺度,多视场的图像的集合,它给出的是不同尺度大小,不同视场大小的图像的集合。是一个暴力枚举所有可能区域的方法。

而“Anchor”机制个人觉得可以理解为Sliding Window提取候选区域的一种近似。“Anchor”机制只使用3个scale,3个aspect ratio,即3x3共个9个候选框(参见图c,这里只画了3个,没画全)。这样得到的候选区域虽然会有误差,不过后面反正会有bounding box回归来修正误差,所以就无所谓了,只要不是差太多就行。

Abstract

主流的目标检测方法在detection network已经取得了不错的运行时间方面的优化,因此region proposal algorithms成为了一个计算瓶颈。作者本文的关键工作就是提出了Region Proposal Network用来进行候选区域提取,这样可以大大缩短候选区域的提取时间。

Introduction

目标检测网络基本上可以分成两部分:候选区域生成(Region proposals) + 对候选区域进行分类以及bound boxes回归。

Region proposal方法有多种,比如:Selective Search, greedily merges superpixels, EdgeBoxes. 以Selective Search方法为例,相比于高效的检测网络部分,这部分的运行时间高了将近一个数量级,其他方法虽然有一定的提升,但是总的来说,region proposal 部分相比于 detection network 多花了很多时间,运行速度的瓶颈就在于此!作者本文的创新点就在于和传统的生成候选区域的算法不同,作者使用Region proposal network来进行Region proposals. 网络整体结构示意图如下:

1794530-4673fdec69e2a60e.png
Faster R-CNN示意图

对于一副输入图像,将其送入CNN提取特征,然后利用Region Proposal Network提取候选区域(这个过程利用了刚才说的Anchor机制,后面细说)。对每一个候选区域进行分类和bounding box回归,就可以得到检测的结果。不过这里候选区域提取是在CNN的最后一个feature map上提取的,那么问题来了,提取的候选区域怎么映射对应回原图呢?feature map上的框怎么对应上输入图像的框?实际上,就是很直接粗暴的方式:根据特征图和原图的比例,把特征图上的框按比例进行缩放。

Faster R-CNN的网络结构

RPN网络

RPN网络结构如下图所示:


1794530-32e4fb94fa58fc13.png
RPN网络结构图

对于任意一副输入图像,将其送入CNN之后,就可以得到相应的feature maps。RPN在CNN的最后一层feature map上滑动。假如最后一个feature map的大小是40 x 60 x channels,那么对于feature map中的每一个像素,用channels x 3 x 3 x 512的卷积核进行卷积,这样可以输出一个512维的特征向量。然后在接上一个1x1x18的卷积核,就可以输出18 = 2x9个评分(9个anchor,每个anchor有两个评分,代表前景,背景的confidence)。在256维特征后面接1x1x36的卷积核就可以得到36个值(9个anchor,每个anchor是4个值,分别代表中心点坐标,宽,高值)。

对于每一个像素都进行预测9个anchor,如果最后一层feature map是40x60大小的话,就要预测40x60x9个anchor,选出前300个得分高的作为候选区域,这样相比于Selective search得到的2000个区域少了很多,而且作者还进行了实验,发现用RPN得到的候选区域比selective search得到的Recall高很多。

RPN网络的训练

  • 正样本选取:和ground truth的IoU值最高的anchor被当作正样本。此外,如果一个anchor和ground truth的IoU超过0.7,则也当成正样本。
  • 负样本选取:如果一个anchor和所有ground truth的IoU低于0.3,则认为是负样本。

对于既不是正样本,也不是负样本的anchor则直接丢弃。超出边界的anchor也丢弃

优化的目标函数如下:


1794530-baaac87a61157460.png
RPN优化的损失函数

第一项表示分类损失,第二项表示回归损失,lambda是权重因子。RPN网络和CNN结合在一起可以实现端到端的训练,CNN在ImageNet预训练。

RPN和Fast R-CNN共享卷积层

RPN和Fast R-CNN(准确来说是Fast R-CNN的分类和bounding box回归部分)都是接在CNN后面的,准确来说应该是这样的:CNN接上RPN,而后是Fast R-CNN。那么,也就是说Fast R-CNN和RPN是共享CNN的。那么这该怎么训练呢?作者给出了3种网络的训练方式:

  1. 联合训练
  2. 近似联合训练
  3. 非近似联合训练

实现细节

将图像resize到短边为600像素,送入神经网络进行检测,并进行非极大值抑制,得到最终结果!

实验结果

state of art!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值