【论文笔记】Learning Region Features for Object Detection

引言

  深度学习领域有一个特别值得关注的趋势：以往许多特征、算法组件和一些设计上面临的选择都是通过人工设计和类似启发式的方式实现，但是这些方法正慢慢地被以数据驱动，“可学习”的方法取代。以目标检测算法为例：YOLO,Faster R-CNN,SSD等算法在生成候选框环节，都需要预先设定好的大小不同的Anchor，这就带有明显的人工设计痕迹；而最近提出的CornerNet则是Anchor-free的方法，即不需要预先人为设定Anchor。
  当前几大流行的目标检测算法大致可以分为五个步骤：

1. image feature generation
2. region proposal generation
3. region feature extraction
4. region recognition
5. duplicate removal

  下图是这五个步骤在Faster R-CNN结构图上的对应关系。注意到上述步骤中除了步骤4天然地就完全依赖网络学习，不存在人为设计，而步骤1，2，3，5都有人为设计部分的存在，所以算法不是完全learnable的。

  本文则是在目标检测算法的另一个环节：region feature extraction，提出了一种新方法来替代Faster R-CNN中的RoI Pooling方法。对于步骤3，常用RoI Pooling & RoI Align方法，可以参考这篇专栏：ROI操作：ROIPooling和ROIAlign

对Region Feature Extraction的形式化描述

  假设从Image feature generation过程得到的feature map $\mathbf{x}$的大小是$H\times W$，通道数为$C_f$，而Region proposal generation过程会生成一定数量的RoI，即候选区域。每个RoI表示为bounding box $b$.
  那么，Region feature extraction过程实现的就是根据 $\mathbf{x}$和 $b$来对不同大小的RoI产生相同大小的特征图表示$\mathbf{y}$，从而输入到后续的region recognition环节。
  这一过程用公式表述就是：
$$\mathbf{y}(b)=RegionFeat(\mathbf{x},b)\text{\hspace{1em}(1)}$$  $\mathbf{y}(b)$的维度大小为：$K\times C_f$，其中$K$表示RoI区域划分成的部分（parts）的数量。以RoI pooling方法为例，RoI pooling将输入的不固定大小的RoI切分成$7\times 7$个bins，每个bin通过avg或者max池化方式得到$1\times C_f$的向量表示，从而将不同大小的RoI的特征图统一到了$7\times 7\times C_f$大小。这里$K=7\times 7$.
  令${\mathbf{y}}_k(b)$表示结果中对应的第k个部分的特征图，在RoI pooling中就是第k个bin得到的向量表示。在RoI pooling中，${\mathbf{y}}_k(b)$的计算只和包含在第k个bin内部的特征图区域有关。而作者认为，${\mathbf{y}}_k(b)$的计算其实可以被推广到整个特征图$\mathbf{x}$甚至是原图。具体地说，part feature（也就是${\mathbf{y}}_k(b)$）的计算可以看作是第$k$个部分关于$\mathbf{x}$在一个support region ${\Omega }_b$里的所有位置$p$上的加权求和，形式化表述如下：
$${\mathbf{y}}_k(b)=\sum _{p\in {\Omega }_b}{w}_k(b,p,\mathbf{x})\odot \mathbf{x}(p)\text{\hspace{1em}(2)}$$  其中，${\Omega }_b$包含的区域可以是RoI包含的区域，也可以包含更大的区域甚至整张图片。$\mathbf{x}(p)$表示p位置在$\mathbf{x}$上的特征信息，$w_k(b,p,\mathbf{x})$则是这些$\mathbf{x}(p)$在相加时的权重。权重值是归一化的，即${\sum }_{p\in {\Omega }_b}{w}_k(b,p,\mathbf{x})=1$.

  利用上述的形式化描述就将目前常用的region feature extraction方法统一起来。作者在文中描述了Regular RoI Pooling, Spatial Pyramid Pooling, Aligned RoI Pooling, Deformable RoI Pooling方法其实都是上述公式的特例，即对$w_k(b,p,\mathbf{x})$的不同具体实现和${\Omega }_b$指定的不同范围。

作者提出的方法

  回到文章主题，作者想要做的就是"seek to learn the weight $w_k(b,p,\mathbf{x})$ in Eq.(2)"。作者从影响这个weight的两个因子出发：一个就是位置$p$和RoI box $b$之间的几何关系，二是位置$p$和image feature $\mathbf{x}$的自适应关系。然后作者设计了weight的计算公式如下：$$w_k(b,p,\mathbf{x})\propto \exp (G_k(b,p)+A_k(\mathbf{x},p))\text{\hspace{1em}(3)}$$公式包含两个函数$G$和$A$, 分别针对上述两个影响因子。

1. $G_k(b,p)$—captures geometric relation

  $G_k(b,p)$公式描述是论文最复杂的部分，$G_k(b,p)$计算公式如下：$$G_k(b,p)=⟨W_k^{box}\cdot {\mathcal{E}}^{box}(b),W^{im}\cdot {\mathcal{E}}^{im}(p)⟩\text{\hspace{1em}(4)}$$  首先，bounding box $b$是表示框位置和大小的四维向量，position $p$是表示点坐标的二维向量，${\mathcal{E}}^{box}(b),{\mathcal{E}}^{im}(p)$分别对$b$和$p$做embedding处理。定义${\mathcal{E}}_k(z)$如下（注意力这里的$z$是一个标量，我对原文中的公式稍作修改，更易理解一下）:$${\mathcal{E}}_k(z)=\{\begin{array}{ll}\sin (\frac{z}{1000^{\frac{2i}{C_{\mathcal{E}}}}}),& \text{if }k=2i\\ \cos (\frac{z}{1000^{\frac{2i}{C_{\mathcal{E}}}}}),& \text{if }k=2i+1\end{array}\text{\hspace{1em}(5)}$$$k$的取值范围为$[0,C_{\mathcal{E}}-1]$，从而有$\mathcal{E}(z)$将标量$z$ embedding为维度为$C_{\mathcal{E}}$的一个向量。因为向量$b$包含4个标量,所以${\mathcal{E}}^{box}(b)$的维数为$4\cdot C_{\mathcal{E}}$，同理，${\mathcal{E}}^{im}(p)$的维数为$2\cdot C_{\mathcal{E}}$.
  第二步，用权重矩阵$W^{im}$和$W_k^{box}$分别乘上${\mathcal{E}}^{im}(p)$和${\mathcal{E}}^{box}(b)$。这里$W^{im}$和$W_k^{box}$在实际中通过卷积实现，也就是说，它们是可学习的。注意到，$W_k^{box}\cdot {\mathcal{E}}^{box}(b)$复杂度特别高，因为${\mathcal{E}}^{box}(b)$的维数为$4\cdot C_{\mathcal{E}}$。这里作者用了一个特别的技巧：将$W_k^{box}$分解为$W_k^{box}={\hat{W}}_k^{box}{V}^{box}$，其中$V^{box}$对所有的$k$都是固定的，从而降低了$W_k^{box}$的参数量。
  最后对两者求内积，得到的就是几何关系权重(geometric relation weight)。公式4其实是一个注意力模型，常用于捕获长距离的或者不同类别目标间的依赖关系。

2. $A_k(\mathbf{x},p)$—uses the image features adaptively

  $A_k(\mathbf{x},p)$的计算公式如下：$$A_k(\mathbf{x},p)=W_k^{app}\cdot \mathbf{x}(p)\text{\hspace{1em}(6)}$$
在代码实现过程中直接用$1\times 1$卷积方式对整个$\mathbf{x}$卷积，就可以得到所有位置上的$A_k$, 而卷积参数就是公式中的$W_k^{app}$.

  下图表示了作者提出的整个Region feature extraction 过程：

3. 存在的问题和解决办法

  在公式(2)中，如果${\Omega }_b$所指范围是$\mathbf{x}$，那么公式(2)的求和计算与公式(4)的求内积操作计算量就特别大。
  针对计算量大的问题，作者采用的方法是对$\mathbf{x}$进行稀疏采样作为${\Omega }_b$。此外，考虑到RoI内部的点对特征的“贡献”应大于RoI外部的点，所以采样也不是直接在整个feature map上均匀采样，而是在RoI内部的点的采样密度大于在RoI外部的点的采样密度。采样的步长设置如下：

1. 在RoI $b$的内部：$$strid{e}_x^b=[W_b/\sqrt{196}]ANDstrid{e}_y^b=[H_b/\sqrt{196}]$$其中，$strid{e}_x^b$和$strid{e}_y^b$分别是在两个方向上的采样步长，$W_b$和$H_b$是RoI的长宽。
2. 在RoI $b$的外部：$$strid{e}^{out}=[\sqrt{HW/196}]$$

  采用稀疏采样后的计算量对比如下(公式序号和原文不对应)：

可以看到，那么公式(2)的求和计算与公式(4)的求内积操作计算量降低了10倍。作者指出，实验证明这种稀疏采样的方式较全特征图采样，最终结果在各种任务的精确度很接近。

实验

  下面是在Faster R-CNN基础上，采用不同的region feature extraction方法的得到的对比结果：

  另外，作者还做了一系列的消融实验，具体包括：

1. 对比不同大小的${\Omega }_b$对mAP的影响；
2. 对比不同采样步长增加的计算量以及对mAP的影响；
3. 对比权重计算中的$G_k(b,p)$，$A_k(\mathbf{x},p)$对mAP的影响。

  然后作者对训练后的权重$w_k(b,p,\mathbf{x})$结果进行了可视化。结果显示，权重主要聚集到了RoI上，且更集中在前景上面。最有意思的一点是，作者最后计算了训练时的$w_1,w_2...w_K$两两间的KL散度均值的变化，这一数值在第一轮训练后的迅速提升到趋于平稳展示了各个不同的部分($k$)确实在关注RoI的不同空间区域。这种对比KL散度的方法很值得借鉴。
  最后作者也指出一个特别有意思的现象，这些权重好像学习了到了前景的具体位置，像给前景加上了mask，能否对语义分割任务有所启发？