论文总结——Fast R-CNN

详情参看原论文：Fast R-CNN（https://arxiv.org/pdf/1504.08083.pdf）

发现问题&关注点

作者团队主要关注了R-CNN和SPP-net的几个缺点：

1. R-CNN和SPP-net的训练是一个繁琐的多阶段训练：一要fine-tune卷积网络、二要训练分类器（SVM）、三要训练回归器；
2. R-CNN和SPP-net训练耗时耗力：多阶段训练带来的弊端导致要训练SVM和回归器，从每张图片的每个proposal提取出特征都必须要先写在硬盘上；
3. R-CNN检测速度很慢：R-CNN的输入就是原图层面的proposal，导致特征的大量重复计算（SPP-net在这方面有所改进，在特征图层面上处理proposal）
4. SPP-net结构缺陷：导致网络前馈的权重更新无法直接跨过Spatial pyramid pooling layer进行，使训练必须拆分成多个阶段，并且一定程度上限制了精度

解决方案——Fast R-CNN

作者团队主要针对R-CNN和SPP-net的多阶段训练提出了自己的解决方案——修改网络结构并引入Multi-tast Loss和RoI Pooling Layer，使得Fast R-CNN成为一个单一网络同时实现分类和检测的端到端的检测模型。

RoI Pooling Layer

RoI Pooling Layer针对卷积神经网络输出的特征图上的RoI (proposal)输出一个固定大小的小特征图（small feature map）。
实质上就是单尺度的SPP Layer。
还有一个论文中没有明确说明的问题：针对输入图像的proposal（RoI）如何映射到特征图上的特定区域？这个问题我看到很多其他博主的理解都是：直接进行一个相应坐标经过一系列卷积和池化后在特征图上的坐标。这一部分先这样理解，之后有空参考源码再深入理解。

Multi-task Loss

从网络结构上看，RoI feature vector输入到两个全连接层后进行分类和回归，在网络结构上将分类和回归统一到了一个网络中。
模型的损失函数也体现了这一点。

$$p为分类网络全连接层softmax后的输出，代表着K（前景类别数）+1类各类的可能性;u为类别真值;$$
$$t^u是回归网络对bounding-box的输出元组，t^u=(t_x^k,t_y^k,t_w^k,t_h^k)；v为bounding-box真值;$$
$$\lambda 仅当真值u为前景类别（u\ge 1）时为1，真值u为背景时（u=0）为0;$$

论 文 中 : L c l s ( p , u ) = − l o g P u ， L l o c ( t u , v ) = ∑ i ∈ { x , y , w , h } s m o o t h L 1 ( t i u − v i ) ; 论文中:L_{cls}(p,u)=-logP_u，L_{loc}(t^u, v) = \sum_{i\in{\{x,y,w,h\}}}smooth_{L1}{(t^u_i-v_i)}; 论文中:Lcls​(p,u)=−logPu​，Lloc​(tu,v)=i∈{x,y,w,h}∑​smoothL1​(tiu​−vi​);

Mini-batch 采样策略

Fast R-CNN的Mini-batch 采样策略作为提升训练速度的重要措施，这里也提一下。

要采样R个RoI用于训练一个mini-batch：

• R-CNN和SPP-net的采样策略:
  从N张图像中各取1个RoI（proposal），从而得到一个有N个RoI的mini-batch；【R = N】
• Fast R-CNN的采样策略：
  N张图像每张图像中取R / N个RoI；【R = N * ( R / N )】

这种采样策略为什么限制了R-CNN和SPP-net的训练速度呢？
这是由于R-CNN和SPP-net有着非常大的感受野，而forward需要处理整个感受野对应部分的图像（在SPP-net往往是整个图像）。而这样的采样策略意味着训练每个mini-batch都需要重新处理N张图像。
当 R / N = 2时，Fast R-CNN的采样策略期望上只需要处理N/2张图像。

总结

虽说Fast R-CNN现在被看作R-CNN发展到Faster R-CNN的过渡，但其中仍然蕴含值得思考的Idea。