Bounding-box Regression详解

　　转自http://caffecn.cn/?/question/160，作者沁心风雨。在此记录，供自己复习。

    　R-CNN系列文章(Fast/ Faster RCNN)都训练了Bounding-box 回归器来对窗口进行校正，以提高最终的检测精度。那么这样做的好处是什么？具体的又该怎样去做呢？本文对窗口回归算法进行探讨。

1.问题理解（为什么要做Bounding-box regression？）

（图１）

　　如图１所示，绿色的框为飞机的Ground Truth，红色的框是Selective Search提取的Region Proposal。那么即便红色的框被分类器识别为飞机，但是由于红色的框定位不准（IoU<0.5），那么这张图相当于没有正确的检测出飞机。如果我们能对红色的框进行微调，使得经过微调后的窗口跟Ground Truth 更接近，这样岂不是定位会很准确。确实，Bounding-box regression就是用来微调这个窗口的。

2.问题数学表达（回归/微调的对象是什么？）

（图２）

    　对于窗口，一般使用四维向量（x,y,w,h）来表示，分别表示窗口的中心点坐标和宽高。对于图２，红色的框Ｐ代表原始的Proposal，绿色的框Ｇ代表目标的Ground Truth，我们的目标是寻找一种关系使得输入原始的窗口Ｐ经过映射得到一个跟真实窗口Ｇ更接近的回归窗口。

    即：给定 ，寻找一种映射，使得，且

3.问题解决方案（Bounding-box regression)

　　那么经过何种变换才能从图２的窗口P变为窗口呢？

　　比较简单的思路就是：

（１）先做平移，。

这实际就是R-CNN论文中的：

（２）然后再做尺度缩放，，对应论文中

　　观察（１）－（４）我们发现，我们需要学习的是这四个变换。

　　下一步就是设计算法得到这四个映射。当输入的Proposal与Ground Truth相差较小时（R-CNN设置的是IoU>0.6），可以认为这种变换是一种线性变换，那么我们就可以用线性回归来建模对窗口进行微调。

　　注意：只有当Proposal和Ground Truth比较接近时（线性问题），我们才能将其作为训练样本训练我们的线性回归模型，否则会导致训练的回归模型不work（当Proposal跟GT离得较远，就是复杂的非线性问题了，此时用线性回归建模显然不合理）。这个也是G-CNN：an Iterative Grid Based Object Detector　多次迭代实现目标准确定位的关键。

    　线性回归就是给定输入的特征向量Ｘ，学习一组参数Ｗ，使得经过线性回归后的值跟真实值Ｙ(Ground Truth)非常接近，即。那么Bounding-box中我们的输入以及输出分别是什么呢？

    　输入：Region Proposal->，这个是什么呢？输入就是这四个数值吗？其实真正的输入是这个窗口对应的CNN特征，也就是R-CNN中的   feature（特征向量）。（注：训练阶段输入还包括Ground Truth，也就是下面提到的）。

        输出：需要进行的平移变换和尺度缩放，或者说是。我们的最终输出不应该是Ground Truth吗？但是有了这四个变换，我们就可以直接得到Ground Truth,这里还有个问题，根据（１）～（４）我们可以知道，Ｐ经过得到的并不是真实值Ｇ，而是预测值。的确，这四个值应该是经过Ground Truth和Proposal计算得到的真正需要的平移量和尺度缩放。

这也就是R-CNN中的（６）～（９）：

        那么目标函数可以表示为，是输入Proposal的特征向量，是要学习的参数（*表示x,y,w,h，也就是每一个变换对应一个目标函数），是得到的预测值。我们要让预测值跟真实值差距最小，得到损失函数为：

函数优化目标为：

利用梯度下降法或者最小二乘法就可以得到　。

4.测试阶段

根据3我们学习得到回归参数，对于测试图像，我们首先经过CNN提取特征，测试的变化就是，最后根据（１）～（４）对窗口进行回归。