Fast RCNN学习笔记

重点理解

1.如何简化2000次的CNN?

在RCNN中，通过SS算法提取2000个ROI区域，再将2000个ROI从原始图像中扣出并统一进行resize，最后通过2000个CNN提取特征; 在fast rcnn中，利用convolution的位置对齐性，直接经过CNN提取特征，然后再在feature map上提取ROI区域。

2.feature map上提取的ROI大小不同，如何送到全连接层进行分类？

一般情况下，pooling用到的卷积核是固定的，大小为22,stride=2.。但是ROI大小不同，我们无法直接使用相同的pooling,因此要根据feature map的大小计算stride和kernel,使得ROI Pooling对每一个区域进行训练。
例如原始图像为200200，输出图像是7*7，那么这个时候我们用到的pooling层是卷积核kernel=200/7（取整）,stride=200/7。由于backbone足够强，模型已经用fc层成功代替SVM和LR.。

3.损失函数

L1loss是平均绝对值误差，对离群点不敏感。但是存在不可导点，收敛速度稍慢。

L2loss是均方误差损失函数，也称MSE。便于梯度下降，但易受离群点的影响，可能导致梯度爆炸。

smooth L1loss虽是平滑之后的L1,也称MAE，是一个分段函数，对于离群点的鲁棒性更高（受异常值的影响）。虽然在公式上是拼接的，但是是连续的，左右极限相同，连续可导。

Fast RCNN中采用多loss的分类回归器，损失函数包括分类损失和回归损失，分类损失函数采用交叉熵函数：loss=-pi*log(pi^)。其中
i指的是类别，^表示预测值。回归损失函数采用的是smooth L1。

4.finetune的优点

使一个统一的网络分阶段训练
使一个统一的网络可以多loss训练
说明了网络具有记忆功能，可以断点后继续训练
在Fast RCNN中，利用finetune的性质，将SVM和LR用CNN模块来实现。

训练过程

1.前向计算过程
图片——VGG提取特征——SS算法选择2000个ROI——Pooling——全连接层进行分类（softmax）和回归——P和T
2.训练过程（反向传播）
图片——VGG提取特征——SS算法选择2000个ROI——Pooling——全连接层进行分类和回归——计算损失函数

总结

1.RCNN系列对比:关键在于ROI提取过程，RCNN仅是采用了SS算法后直接给每一个候选区域直接加上了CNN,计算量过大。
RCNN主要由四个模块组成：SS、CNN、SVM分类和Linear回归。
Fast RCNN主要是通过VGG得到feature map,再通过SS提取ROI,只包含SS和VGG两个模块(ROIPooling和CNN)。
2.缺点：在Region proposal过程中，selective search比较耗时，希望将SS算法也用CNN来实现。