【目标检测】Faster RCNN学习笔记

背景

• R-CNN计算成本很高，但是各种推荐中共享卷积，成本已经大大降低，然而其训练过程和测试依然非常慢
• R-CNN方法端到端地对CNN进行训练，将推荐区域分类为目标类别或背景；R-CNN主要作为分类器，并不能预测目标边界，其准确度取决于区域推荐模块的性能
• 在OverFeat方法中，训练一个全连接层来预测假定单个目标定位任务的边界框坐标，然后将全连接层变成卷积层，用于检测多个类别的目标
• MultiBox方法从网络中生成区域推荐，网络最后的全连接层同时预测多个类别不相关的边界框，并推广到OverFeat的“单边界框”方式
• SPPNet和Fast R-CNN等研究已经大大降低了检测网络的运行时间，但是推荐区域的计算成了一个瓶颈
• 多尺度预测有两种流行的方法。第一种方法是基于图像/特征金字塔，例如DPM。这种方法通常是有用的，但是非常耗时；第二种方法是在特征映射上使用多尺度（和/或长宽比）的滑动窗口

Faster R-CNN的贡献

• 在Fast R-CNN的基础上，提出了RPN区域推荐网络

目标推荐方法

• 基于超像素分组（如选择性搜索、CPMC）
• 基于滑动窗口（如窗口中的目标、EdgeBoxes）
• 目标推荐方法被采用与外部模块，且独立于检测器
• Faster R-CNN创新性的提出了RPN方法

Faster R-CNN

• 由两个模块组成。第一个模块是推荐区域的深度全卷积网络，第二个模块是使用推荐区域的Fast R-CNN检测器
• RPN，区域推荐网络。以任意大小的图像作为输入，输出一组矩形的目标推荐，每个推荐都有一个目标得分
  
• Anchors，锚点。在每个滑动窗口位置，同时预测多个区域推荐，每个位置可能推荐的最大数目表示为k，所以在reg层中有4k个输出，用于编码k个边界框的坐标，cls层输出2k个分数，用于估计目标是或不是的可能性，如上图的中间所见
• 基于锚点方法建立锚点金字塔上，更具成本效益。方法参照多尺度和长宽比的锚盒来分类和回归边界框

训练RPN

• RPN可以通过反向传播和随机梯度下降（SGD）进行端对端训练,遵循“以图像为中心”的采样策略来训练这个网络
• 在图像中随机采样256个锚点，计算一个小批量数据的损失函数，其中采样的正锚点和负锚点的比率可达1:1
• 从标准方差为0.01的零均值高斯分布中提取权重来随机初始化所有新层，所有其他层（即共享卷积层）通过预训练的ImageNet分类模型来初始化，调整ZF网络的所有层，以及VGG网络的conv3_1及其之上的层以节省内存。对于60k的小批量数据，使用0.001的学习率，对于PASCAL VOC数据集中的下一个20k小批量数据，使用0.0001。使用0.9的动量和0.0005的重量衰减

训练共享特征的网络

• 对于检测网络，采用Fast R-CNN
• 独立训练的RPN和Fast R-CNN将以不同的方式修改卷积层
• 需要开发出一种允许在两个网络之间共享卷积层的技术，即训练共享特征的网络：
  (一）交替训练（二）近似联合训练（三）非近似的联合训练

参考：
论文翻译：https://blog.csdn.net/Quincuntial/article/details/79132251
其它：https://blog.csdn.net/liuxiaoheng1992/article/details/81843363
https://blog.csdn.net/qq_41375609/article/details/94749596