R-FCN阅读笔记

R-FCN: Object Detection via Region-based Fully Convolutional Network

原文：R-FCN： https://arxiv.org/abs/1605.06409
Github链接： https://github.com/daijifeng001/r-fcn(https://github.com/daijifeng001/r-fcn)

what

本文是基于region based framework的一种新的detection方法，主要目的是通过移除最后的fc层进行加速。同时通过本篇论文，很好的将RCNN，faster rcnn进行了一个general的总结。本文目前是Pascal voc上面速度和performance结合的最好的方法，并且用到了最新的residual network（好吧，也过去好久了其实）。
唯一美中不足的是，没有其他网络，比如VGG16和GoogleNet的baseline，所以和不少其他的方法没有比较。

why

首先，region base detection framework有一个问题，就是多多少少会有subnet的重复计算。
最早的RCNN，每一个proposal都会独立经历一次CNN网络抽取feature，那么这个时候，这个subnet就是整个网络，非常非常慢。后来的fast rcnn，先把整张image进行卷积计算，然后在最后一层通过ROI pooling把每一个proposal变成一个大小一致的map，对于每一个map，经过若干次fc层然后得到结果，在这个时候，这个subnet指的就是那若干层fc层。假如一幅图片的proposal有N个，所以这样经历subnet的计算也会有N次，subnet越深计算的效率越低。本文的想法就是不用这些subnet，让所有的计算都可以共享。（见下图的总结）

随着网络深度的提高，网络对于location的敏感度越来越低，也就是所谓的translation-invariance，但是在detection的时候，需要对位置信息有很强的的敏感度。

ResNet论文的检测流程将RoI池化层插入到卷积中—特定区域的操作打破了平移不变性，当在不同区域进行评估时，RoI后卷积层不再是平移不变的。然而，这个设计牺牲了训练和测试效率，因为它引入了大量的区域层

一方面，图像级别的分类任务有利于平移不变性——图像内目标的移动应该是无差别的。因此，深度（全）卷积架构尽可能保持平移不变，这一点可以从ImageNet分类[9，24，26]的主要结果中得到证实。另一方面，目标检测任务的定位表示需要一定程度上的平移可变性。例如，在候选框内目标变换应该产生有意义的响应，用于描述候选框与目标的重叠程度。我们假设图像分类网络中较深的卷积层对平移不太敏感。

在ResNet论文中，Faster R-CNN检测器的RoI池层不自然地插入在两组卷积层之间——这创建了更深的RoI子网络，其改善了精度，由于非共享的RoI计算，因此是以更低的速度为代价。

R-FCN要解决的根本问题是Faster R-CNN检测速度慢的问题，速度慢是因为ROI层后的结构对不同的proposal是不共享的，试想下如果有300个proposal，ROI后的全连接网络就要计算300次，这个耗时就太吓人了。所以作者把ROI后的结构往前挪来提升速度，但光是挪动下还不行，ROI在conv5后会引起上节提到的平移可变性问题，必须通过其他方法加强结构的可变性，所以作者就想出了通过添加