https://blog.csdn.net/shenxiaolu1984/article/details/51036677
同样使用最大规模的网络,Fast RCNN和RCNN相比,训练时间从84小时减少为9.5小时,测试时间从47秒减少为0.32秒。在PASCAL VOC 2007上的准确率相差无几,约在66%-67%之间。
Fast RCNN方法解决了RCNN方法三个问题:
- 问题一:测试时速度慢
RCNN一张图像内候选框之间大量重叠,提取特征操作冗余。
本文将整张图像归一化后直接送入深度网络。在邻接时,才加入候选框信息,在末尾的少数几层处理每个候选框。
- 问题二:训练时速度慢
原因同上。
在训练时,本文先将一张图像送入网络,紧接着送入从这幅图像上提取出的候选区域。这些候选区域的前几层特征不需要再重复计算。
- 问题三:训练所需空间大
RCNN中独立的分类器和回归器需要大量特征作为训练样本。
本文把类别判断和位置精调统一用深度网络实现,不再需要额外存储。
特征提取网络
基本结构
图像归一化为224×224直接送入网络。
前五阶段是基础的conv+relu+pooling形式,在第五阶段结尾,输入P个候选区域((图像序号×1+几何位置×4)
roi_pool层的测试(forward)
roi_pool层将每个候选区域均匀分成M×N块,对每块进行max pooling。将特征图上大小不一的候选区域转变为大小统一的数据,送入下一层。
roi_pool层的训练(backward)
网络参数训练
参数初始化
在ImageNet上训练1000类分类器。结果参数作为相应层的初始化参数。 其余参数随机初始化。
分层数据
在调优训练时,每一个mini-batch中首先加入N张完整图片,而后加入从N张图片中选取的R个候选框。这R个候选框可以复用N张图片前5个阶段的网络特征。
实际选择N=2, R=128。
分类与位置调整
数据结构
第五阶段的特征输入到两个并行的全连层中(称为multi-task)。
- cls_score层用于分类,输出K+1维数组p,表示属于K类和背景的概率。
- bbox_prdict层用于调整候选区域位置,输出4*K维数组t,表示分别属于K类时,应该平移缩放的参数。
代价函数
loss_cls层评估分类代价。由真实分类u对应的概率决定:
L
c
l
s
=
−
l
o
g
p
u
L_{cls}= -logp_{u}
Lcls=−logpu
loss_bbox评估检测框定位代价。比较真实分类对应的预测参数tu和真实平移缩放参数为v的差别:
L
l
o
c
=
∑
i
=
1
4
g
(
t
i
u
−
v
i
)
L_{loc}= \sum_{i=1}^{4}g(t_{i}^{u}-v_{i})
Lloc=∑i=14g(tiu−vi)
g为Smooth L1误差.
- 总代价为两者加权和,如果分类为背景则不考虑定位代价。