Fast Rcnn 和Faster Rcnn

Fast Rcnn 和Faster Rcnn
Fast rcnn（sotfmax 和 bbox回归的损失 可以反向传播求导）:
提出了roi pooling 整合整个模型，将cnn roipooling 分类器 bbox回归 几个模块整个一起训练
步骤：
输入图片到卷积网络，得到整个图片的feature map
选择性搜索的结果ROI映射到feature map 中
ROI pooling layer 提取固定长度的特征向量，每个特征输入一系列的全连接层 得到ROI特征向量（每个候选区域都需要进行 ）
fast rcnn 采用的是softmax 分类 输出k个类别加上背景类
bbox regression

ROI pooling ：
相当于简单版本的spp 目的减少计算时间得到固定长度的向量，使用一种4*4空间盒数(因此比sppnet快)

训练比较统一：废弃svm，以及sppnet
使用Roi pooling +sotfmax

多任务损失：
分类损失：是N+1的sotfmax输出，N类别 1背景，交叉熵损失
回归损失：是一个4*N路输出的regression，每个类别都会训练 一个单独regression，使用平均绝对误差求损失。
优化损失 ：可以通过将交叉熵损失和平均绝对误差损失求和反向传播优化损失

过程： 输入图片 --卷积得到整张图片的特征feature map （通过ss选择性搜索算法 得到候选区 映射到特征图）–roi pooling —fc–分类和回归 可以总和优化模型

缺点：候选区域提取通过ss选择性搜索提取 耗时

Faster rcnn （候选区域融合到网络当中）：将候选区域 特征提取 分类 回归（位置精修） 统一到一个深度网络当中
faster rcnn 可以看做一个区域生成网络（RPN）+Fast rcnn 模型
RPN替代了ss选择性搜索算法
输入图片–卷积操作–得到feature map 在RPN和全连接层中共享
RPN：生成候选区域取名anchors
通过sotfmax判断anchors属于前景还是背景
利用regression进行修正anchors获得精确的proposals，得到默认300个候选区域给ROI pooling 继续后面的fast rcnn 步骤

输入图片–卷积得到feature map --ROI pooling —全连接层----bbox 精修 和sotfmax 类别判断
|
|
RPN
RPN原理：
RPN网络主要目的：得到比较准确的候选区域
用nn窗口（默认33）去扫描特征图，每个滑窗位置映射到一个低维的向量（默认256维），并且为每个滑窗位置考虑k（k=9）种可能的参考窗口（anchor）
假设得到的特征图是2020256 则得到20209个anchor 和256个特征向量
9个anchor大小的定义：三种尺度{128，256，512} 三种长宽比{1:1,1:2,2:1} 3*3大小不同的候选框
窗口输出{N，256}–进行分类判断是否是背景
回归位置:N个候选框与自己对应的目标值Gt回归，修正位置
得到更好的候选区域提供给roi pooling 使用
Faster rcnn 训练：
RPN训练：从众多的候选区域中提取出score较高的，并且经过regression调整候选区域（分类：sotfmax logisticregression，候选框的调整 均方误差）
Fast rcnn训练：分类训练得到候选区每个类别的概率sotfmax损失和回归训练得到更好的位置信息均方误差损失

候选区域的训练：训练样本anchor标记：每个 gtbox有着最高的IOU的anchor标记为正样本
剩下的anchor与任何gtbox的iou>0.7标记为正样本，反之为负样本
剩下的样本全部忽略
正负样本比例：1：3
bbox 和gtbox 的坐标误差
RPN训练：置信度是0和1表示有无目标
sotfmax训练 ：概率和目标类别的sotfmax （faster rcnn 的最后的分类）

优点：提出RPN网络
缺点：训练参数过多