边框回归(Bounding Box Regression)详解

Bounding-Box regression

最近一直在看目标检测有关的Paper, 从rcnn， fast rcnn, faster rcnn, yolo, r-fcn, ssd，到今年cvpr最新的yolo9000。这些paper中损失函数都包含了边框回归，除了rcnn详细介绍了，其他的paper都是一笔带过，或者直接引用rcnn就把损失函数写出来了。前三条网上解释比较多，后面的两条我看了很多paper，才得出这些结论。

• 为什么要边框回归？
• 什么是边框回归？
• 边框回归怎么做的？
• 边框回归为什么宽高，坐标会设计这种形式？
• 为什么边框回归只能微调，在离Ground Truth近的时候才能生效？

 为什么要边框回归？

如下图所示： 

 对于上图，绿色的框表示Ground Truth, 红色的框为Selective Search提取的Region Proposal。那么即便红色的框被分类器识别为飞机，但是由于红色的框定位不准(IoU<0.5)， 那么这张图相当于没有正确的检测出飞机。 如果我们能对红色的框进行微调， 使得经过微调后的窗口跟Ground Truth 更接近， 这样岂不是定位会更准确。 确实，Bounding-box regression 就是用来微调这个窗口的。

边框回归是什么？

对于窗口一般使用四维向量(x,y,w,h) 来表示， 分别表示窗口的中心点坐标和宽高。 对于图 2, 红色的框 P 代表通过selective search算法提名的候选框Proposal, 绿色的框 G 代表目标的 Ground Truth， 我们的目标是寻找一种关系使得输入原始的窗口 P 经过映射得到一个跟真实窗口 G 更接近的回归窗口G^。
 

 边框回归的目的既是：给定(Px,Py,Pw,Ph)寻找一种映射f， 使得f(Px,Py,Pw,Ph)=(Gx^,Gy^,Gw^,Gh^)，并且(Gx^,Gy^,Gw^,Gh^)≈(Gx,Gy,Gw,Gh)

边框回归怎么做的？

那么经过何种变换才能从图 2 中的窗口 P 变为窗口G^呢？ 比较简单的思路就是: 平移+尺度放缩

先做平移(Δx,Δy)， Δx=Pwdx(P),Δy=Phdy(P)这是R-CNN论文的：
G^x=Pwdx(P)+Px,      (1)
G^y=Phdy(P)+Py,       (2)
然后再做尺度缩放(Sw,Sh)， Sw=exp(dw(P)),Sh=exp(dh(P)), 对应论文中：
G^w=Pwexp(dw(P)),  (3)
G^h=Phexp(dh(P)),    (4)
观察(1)-(4)我们发现， 边框回归学习就是dx(P),dy(P),dw(P),dh(P)这四个变换。下一步就是设计算法得到这四个映射。

线性回归就是给定输入的特征向量 X, 学习一组参数 W, 使得经过线性回归后的值跟真实值 Y(Ground Truth)非常接近.  那么 Bounding-box 中我们的输入以及输出分别是什么呢？

Input:

RegionProposal→P=(Px,Py,Pw,Ph)，这个是什么？ 输入就是这四个数值吗？其实真正的输入是这个窗口对应的 CNN 特征，也就是 R-CNN 中的 Pool5 feature（特征向量）。 (注：训练阶段输入还包括 Ground Truth， 也就是下边提到的t∗=(tx,ty,tw,th)

Output:

需要进行的平移变换和尺度缩放 dx(P)  dy(P)   dw(P)   dh(P)， 这是预测的偏移量和缩放量,那么真实的平移量和缩放量为tx  ty  tw  th。
这也就是 R-CNN 中的(6)~(9)： 
tx=(Gx−Px)/Pw,      (6)
ty=(Gy−Py)/Ph,      (7)
tw=log(Gw/Pw),     (8)
th=log(Gh/Ph),       (9)

那么目标函数可以表示为 d∗(P)=wT∗Φ5(P)，Φ5(P)是输入 Proposal 的特征向量，w是要学习的参数（*表示 x,y,w,h， 也就是每一个变换对应一个目标函数） , d∗(P) 是得到的预测值。 我们要让预测值跟真实值t∗=(tx,ty,tw,th)差距最小， 得到损失函数为：

Loss=∑(ti∗−w^T∗ϕ5(Pi))2
函数优化目标为：

W∗=argminw∗∑(ti∗−w^T∗ϕ5(Pi))2+λ||w^∗||2
利用梯度下降法或者最小二乘法就可以得到 w∗。

总结

里面很多都是参考师兄在caffe社区的回答，本来不想重复打字的，但是美观的强迫症，让我手动把latex公式巴拉巴拉敲完，当然也为了让大家看起来顺眼。后面还有一些公式那块资料很少，是我在阅读paper+个人总结，不对的地方还请大家留言多多指正。
 

转自https://blog.csdn.net/zijin0802034/article/details/77685438