Precise RoI Pooling（PrRoI Pooling）笔记

Precise ROI Pooling（PrRoI Pooling）方法由旷视科技于ECCV 2018上提出，作为他们的论文Acquisition of Localization Con dence for Accurate Object Detection中的一部分。其主要思想如下：

给定一个图像特征图$\mathcal{F}$，令$(i,j)$为特征图上的坐标，$w_{i,j}$为其特征图对应位置$(i,j)$的权值。采用双线性插值以避免量化操作，那么可以认为特征图也是连续的，有：

$$f(x,y)=\sum _{i,j}IC(x,y,i,j)\times w_{i,j}$$

其中，$IC(x,y,i,j)=\max (0,1-|x-i|)\times \max (0,1-|y-j|)$，它是插值系数。注意，这里面的$w$和$f$其实都是特征图，只不过$w$是离散的特征图（一般的特征图都是离散的），$f$是经过插值后连续的特征图。

为什么这里非要将离散的特征图转换为连续的特征图呢？这里主要是为了解决量化操作带来的累积误差问题，具体可以参考 https://www.jianshu.com/p/2a5ffca8b861 这篇文章，分析得比较仔细。

现在我们为某个RoI指定它的一个bin， b i n = { ( x 1 , y 1 ) , ( x 2 , y 2 ) } {bin}=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right)\right\} bin={ (x1​,y1​),(x2​,y2​)}，其中$\left(x_1,y_1\right)$和$\left(x_2,y_2\right)$分别表示矩形框的左上角和右下角坐标，如下图所示（当然，这个坐标值是连续数值，因为已经做过插值了）：

根据上述得到的bin（其坐标是连续数值）和原始的特征图$\mathcal{F}$，我们可以进行一种pooling操作，它涉及到二重积分：

$$\mathrm{PrPool}(bin,\mathcal{F})=\frac{{\int }_{y1}^{y2}{\int }_{x1}^{x2}f(x,y)dxdy}{\left(x_2-x_1\right)\times \left(y_2-y_1\right)}$$

从上面的公式可以看出，PrPool的主要计算思想是对bin区域内的数值进行求和，然后除以bin的面积。

这里贴一张论文中关于描述RoI Pooling、RoI Align和PrRoI Pooling的对比示意图：

上图中红色虚线表示候选图像在特征图中的位置。从图中可以看出，RoI Pooling的思路最为基础，其方法是直接做了取整处理，损失了精度。RoI Align方法则首先进行插值，然后将候选图像区域分为若干个子区域（图中的示例是4个子区域，表现为4个实心红点），最后pooling的时候对这4个子区域做均值处理。与RoI Align方法类似，PrRoI Pooling也做了插值处理，将离散的特征图数据映射到一个连续空间，但与RoI Align不同之处在于，它并没有再划分子区域，而是使用二重积分再求均值的方式实现pooling。相比于RoI Align方法，PrRoI Pooling主要解决了N的取值难以自适应的问题。

此外我们还可以发现，$\mathrm{PrPool}(bin,\mathcal{F})$是可以求偏导数的，比如对$x_1$求偏导数，有：

∂ PrPool ⁡ ( b i n , F ) ∂ x 1 = ∂ ∫ y 1 y 2 ∫ x 1 x 2 f ( x , y ) d x d y ( x 2 − x 1 ) × ( y 2 − y 1 ) ∂ x 1 = ∂ ∫ y 1 y 2 ∫ x 1 x 2 f ( x , y ) d x d y ∂ x 1 × ( x 2 − x 1 ) × ( y 2 − y 1 ) − ∫ y 1 y 2 ∫ x 1 x 2 f ( x , y ) d x d y × ∂ ( x 2 − x 1 ) × ( y 2 − y 1 ) ∂ x 1 [ ( x 2 − x 1 ) × ( y 2 − y 1