Faster RCNN 论文小结

这里写图片描述

背景

原来写好的博客未保存消失了= =。按理解重新写一遍,可能会少内容,以后再补吧…
RCNN系列称为region-based 方法,其准确率非常依赖于region proposal模块。这也是本文改进的重点内容。

名词

top:下一层名
bottom:上一层名
recall:【所谓召回率即候选区域为真的窗口与Ground Truth的比值【IoU大于阈值即为真】】分析实验,发现随着候选区域个数的增加,召回率并没有和mAP成很好的相关性,而是一直不断增加,也就是说更高的召回率并不意味着更高的mAP;
“attention” mechanisms:RPN提示Fast RCNN需要注意的区域。
“image-centric” sampling strategy
ablation experiments:模型简化测试。看看取消掉一些模块后性能有没有影响。根据奥卡姆剃刀法则,简单和复杂的方法能达到一样的效果,那么简单的方法更可靠。从而确定研究模型中所提出的一些结构是否有效而设计的实验。类比生物里的,控制变量法。

过程

RPN

RPN通过添加一些额外的卷积层,同时完成了region bbox回归,和目标score。RPN是一种FCN,全连接网络。
输入:任意尺寸的图片
输出:一组region,及其object score
这里写图片描述
虚线以上得到了feature maps,虚线下面则属于RPN。
对ZF网络而言,将获取51*39*256维的feature maps,通过3*3的卷积核处理(加padding),每次处理,当前window都会生成一个256的低维特征(51*39*256的256)。其将会在稍后被送给两个兄弟全连接层,box回归层和box分类层。
这里写图片描述
RPN这个mini网络是在每个窗口进行的,所以其在feature maps上共享权值。这个结构也自然是由n*n的卷积层实现的,其后的是两个兄弟1*1卷积层。

anchor

需要注意的是,每个window并不一定只有一个proposal。这里将会根据(8,16,32)和(0.5,1,2)的不同大小和比率,尝试预测多个region proposal,这里由k表示,由上k=9。k个proposal不只是原图的region,特征则是feature maps的k个256-d的feature。其输入cls_score得到2k个得分(属于类别的,不属于类别的概率),输入reg得到4k个位置。
所以总共的anchor数大约是 51*39*9个。
这些anchor会经过删减,与原图的ground truth的IoU小于阈值的将不会参与训练。
这时候,剩余的框是IoU能够参加训练的region,但其中仍然有许多重复度较高的region。为了减少冗余,应用NMS算法,NMS算法根据他们得cls_score得分将重复度高的region一一合并。
NMS算法并不会损伤最终的检测精度,反而能大量减少proposal的数量。
然后对剩余的anchor,选取前N个(train:N=2000,test:N=300)anchor,送入后面的Roi层。

训练方法

为了实现训练RPN和FRCN共享卷积层,而不是学习两个分开的网络,有如下训练方法:

轮换训练

先训练RPN,把RPN输出的region作为FRCN的输入,其结果经过FRCN的调整后,再初始化RPN。这个过程是迭代的,也是本篇论文采用的方法。

近似联合训练

这种方法,RPN和FRCN在训练过程中合为一体。每次SGD迭代过程中,RPN计算生成的region,对于下游的FRCN来说,就像是固定的,提前计算好的一样。反向传播的过程和往常类似,前面共享的卷积层,其调整权值的信号同时来自于RPN和FRCN的损失函数。这种方法容易实现,但其忽略了RPN所返回的bbox坐标,这也是网络response的内容,但并不会在反向传播中得到体现,所以本方法被称为近似联合训练。
本方法在代码中得到了实现,其训练时间可以比轮换训练提高50%的效率,而不会损失精度。

联合训练

RPN预测出的region是Roi层的输入,反向传播的过程应当把其坐标也囊括在内,这也是联合训练所做的内容。

4步走

  1. 训练一个RPN网络,其由ImageNet预训练模型初始化。
  2. 训练一个FRCN网络,其由ImageNet预训练模型初始化,且与RPN独立,当前这两个网络不共享卷积层。
  3. 用检测网络初始化RPN,但在这里固定共享的卷积层,只微调RPN。现在这两个网络共享卷积层。
  4. 保持共享的卷积层固定,只微调FRCN,这里两个网络共享同样的卷积层。

问题

如何处理多尺度问题

两种方法。一,基于图片/特征金字塔:图片经过放缩,分别计算feature maps,这种方法很有效,但也很耗时。二,在feature maps上使用多尺度的滑动窗口,这可以看做filter金字塔。第二种方法通常和第一种结合使用。
本文使用的是多尺度anchor。

如何处理边界交叉的anchor

在训练中,对边界交叉的anchor,并不会做出贡献,否则会降低准确度。

结论/技巧

  1. 对特征提取部分,准确度可能会随着一个更小的stride进一步提升。
  2. 提出的region proposal越少,越能减小全连接层的时间消耗。
  3. RPN proposal排名靠前的region越能体现其准确度。
  4. cls_score表征ranked proposal的准确度。
  5. bbox的scale,ratios对结果精度并不是特别重要。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值