实战深度学习目标检测：RCNN （2）

深度学习目标检测：RCNN

RCNN的检测流程：
1.3 SVM特征分类
作者论文里并没有介绍怎么进行SVM的特征分类，不过要注意的是作者为每个类都训练了一个SVM分类器，在训练/检测的过程中使用这些分类器为每一类进行分类。

训练与测试阶段

2.1 应用测试阶段
在测试阶段，首先使用selective search提取测试图像的2000个proposals，然后将所有proposal图像拉伸到合适的大小并用CNN进行特征提取，得到固定长度的特征向量。最终对于每个类别，使用为该类别训练的SVM分类器对得到的所有特征向量（对应每个proposal图像）进行打分（代表的是这个proposal是该类的概率）。
注意到这里应用了一次NMS（非最大值抑制），具体来说就是对每一类而言，若一个proposal与一个分值比它大的proposal相交，且IoU（intersection over union，即相交面积比这两个proposal的并集面积之比）大于一定阈值的情况下，则抛弃该proposal。作者对测试阶段的时间进行了分析，认为RCNN的优势在于：（1）CNN中共享网络参数（CNN本身特性）；（2）CNN提取后的特征维度较低（相比之前的方法），计算更快。

ImageNet预训练阶段

作者首先在ImageNet上进行了CNN的预训练，由于VOC 2012中训练数据较少（相对而言），所以使用ImageNet预训练然后再fine tune效果会更好。Fine-tuning（微调）阶段在微调阶段，作者把ImageNet上预训练的网络从1000个输出改为21个输出（VOC的20类+1类background），然后将所有与groundtruth的包围框的IoU>= 0.5的proposal看作正类（20类之一），其他的全部看作背景类。在训练时使用随机梯度下降（SGD），学习率为0.001,在训练的过程中随机选取32个postive样本和96个negative样本，这样选择是因为在提取的proposal中background样本要远远多于postive样本。

SVM分类器训练阶段

在训练SVMs的过程中，作者把IoU低于0.3的proposal设置为negative样本，对于postive则是groundtruth的包围盒图像。作者对每个类别都训练了一个线性的SVM分类器，由于训练图像过多，同时为了保证训练的效果，所以作者在训练的过程中采用了hard negative mining方法（hard negative mining训练方法在我看来就是通过训练挑出训练集中那些总是被识别错误的负样本作为训练集）。
（1）为什么fine-tuning时采用的IoU阈值和SVM训练时采用的阈值不同
呢？
首先作者承认，在实验开始他们并没有fine-tuning的过程，而最开始使用SVM训练时阈值就是0.3，在后面的实验中加入finetuing以后，采用相同的阈值发现效果比使用现在的0.5阈值要差很多。

阈值的设置并不是很重要，而是微调时数据量的问题，在微调时采用0.5阈值的话会出现很多所谓的“抖动”的样本，这些样本于groundtruth的IoU在0.5到1之间，采用0.5的阈值以后正样本增加了30倍，所以fine-tuning时训练数据增多，效果会更好。
（2）为什么不直接使用CNN的分类结果，而还要继续训练若干个SVM分类器呢？作者也直接使用CNN分类结果进行了实验，发现效果相比SVM有所降低，他发现使用CNN直接分类结果并不注重于精确定位（我觉得这个情况很合理，因为CNN识别能力非常强大，非常的鲁棒，所以不是那么精确的定位也可以得到比较好的结果，所以不注重精确定位）第二个原因在于SVM训练时采用的hard negative mining选择的样本比CNN中随机选择的样本要好，所以结果会更好。作者也提出，可能通过更改fine-tuning的一些细节可以提升效果（他们也是这么做的，Fast RCNN中他们改变了loss函数）。

只有当Proposal和Ground Truth比较接近时（线性问题），我们才能将其作为训练样本训练我们的线性回归模型，否则会导致训练的回归模型不work（当Proposal跟GT离得较远，就是复杂的非线性问题了，此时用线性回归建模显然不合理）。

线性回归就是给定输入的特征向量X，学习一组参数W，使得经过线性回归后的值跟真实值Y(Ground Truth)非常接近。即。那么Bounding-box中我们的输入以及输出分别是什么呢？
输入：输入就是这四个数值吗？其实真正的输入是这个窗口对应的CNN特征，也就是R-CNN中的
Pool5feature（特征向量）。(注：训练阶段输入还包括Ground Truth，也就是下边提到的)
输出：需要进行的平移变换和尺度缩放，或者说是。我们的最终输出不应该是Ground Truth吗？是的，但是有了这四个变换我们就可以直接得到Ground Truth，这里还有个问题，根据上面4个公式我们可以知道，P经过，得到的并不是真实值G，而是预测值。
的确，这四个值应该是经过Ground Truth 和Proposal计算得到的真正需要的平移量和尺度缩放。
这也就是R-CNN中的：