RCNN家族

RCNN主要适用于目标检测，目标检测分两步：特征提取和检测识别，RCNN，fast RCNN和faster RCNN

一、RCNN

（1）selective Search(ss算法)提取2000个候选框（重复计算）
（2）Region Proposal缩放（warp）候选框选中图像缩放为227*227的图像（归一化图片）
（3）通过与训练过的卷积神经网络提取候选框的特征得到4096向量（不是端到端的）
（4）通过SVM对各个候选框分类，分类好的就放入岭回归，边框微调
（5）非极大值抑制（NMS）：交并比（IOU）选择最后的候选框
非极大值抑制是选取置信度最高的边框

一二之间连接SPP（Spatial Pyramid Pooling空间金字塔池化）

卷积层不需要固定尺寸的图像，全连接层需要固定大小的输入。
根据选择性搜索M张图片搜出2K个候选框M2k，但是不需要想RCNN 那样2K个候选框都要进行缩放操作，金字塔池化层在卷积后进行输出指定的维度给全连接层，对于RCNN 个M2k都要送入网络提取特征计算（特征提取和分类过程），SPPnet只要对图像进行一个特征提取即M个，那对原来的定位用feature map 映射计算。

二、fast RCNN

(1)输入测试图像；
(2)利用selective search 算法在图像中从上到下提取2000个左右的建议窗口(Region Proposal)；
(3)将整张图片输入CNN，进行特征提取；
(4)把建议窗口映射到CNN的最后一层卷积feature map上；
(5)通过RoI pooling层使每个建议窗口生成固定尺寸的feature map；
(6)利用Softmax Loss(探测分类概率) 和Smooth L1 Loss(探测边框回归)对分类概率和边框回归(Bounding box regression)联合训练.

卷积层最后放ROI Pooling 层，ROI Pooling的作用是对不同大小的region proposal，从最后卷积层输出的feature map提取大小固定的feature map。
Fast R-CNN直接使用softmax替代SVM分类，用一个单个的网络完成这三项任务，同时利用多任务损失函数（multi-task loss）边框回归也加入到了网络中，这样整个的训练过程是端到端的(除去Region Proposal提取阶段)。

三、faster RCNN

在Fast R-CNN中引入Region Proposal Network(RPN)替代Selective Search，同时引入anchor box应对目标形状的变化问题（anchor就是位置和大小固定的box，可以理解成事先设置好的固定的proposal）。

(1)输入测试图像；
(2)将整张图片输入CNN，进行特征提取；
(3)用RPN生成建议窗口(proposals)，每张图片生成300个建议窗口，代替选择性搜索；
(4)把建议窗口映射到CNN的最后一层卷积feature map上；
(5)通过RoI pooling层使每个RoI生成固定尺寸的feature map；
(6)利用Softmax Loss(探测分类概率) 和Smooth L1 Loss(探测边框回归)对分类概率和边框回归(Bounding box regression)联合训练.
相比fast-RCNN，主要两处不同:

(1)使用RPN(Region Proposal Network)代替原来的Selective Search方法产生建议窗口；
(2)产生建议窗口的CNN和目标检测的CNN共享

RPN简介：
　　• 在feature map上滑动窗口
　　• 建一个神经网络用于物体分类+框位置的回归
　　• 滑动窗口的位置提供了物体的大体位置信息
　　• 框的回归提供了框更精确的位置
一种网络，四个损失函数;
　　• RPN calssification(anchor good.bad)
　　• RPN regression(anchor->propoasal)
　　• Fast R-CNN classification(over classes)
　　• Fast R-CNN regression(proposal ->box)

Faster R-CNN损失函数

https://blog.csdn.net/weixin_41108334/article/details/82897572?spm=1001.2014.3001.5506