ECCV 2020 《Improving One-stage Visual Grounding by Recursive Sub-query Construction》论文笔记

简介

本文出自罗彻斯特大学+腾讯AI Lab
下载链接

动机

现有的visual grounding方法可以分为两类：一阶段、两阶段。本文面向一阶段方法，提升现有方法处理长（long）、复杂（complex）query的能力。本质是：本文提出了一个可以用在一阶段visual grounding模型中的query modeling方法（两阶段模型中有很多query modeling方法，但是由于一些限制，不能直接用于一阶段模型）。

贡献

1. 对一阶段的visual grounding方法进行了改善，提升了其处理长且复杂的query的能力；
2. 提出了一个递归的子查询构建网络，通过递归来降低referring ambiguity；
3. 实验结果好，在不同数据集上提升5-12个百分点。

方法

本文方法的整体架构如下图所示，共包含两个核心模块：子查询学习器（Sub-query Learner）和子查询调制器（Sub-query Modulation）。

子查询学习器负责学习Query中每个word的注意力${\alpha }_n^{(k)}$，通过下式得到：
$${\alpha }_n^{(k)}=\text{softmax}[W_{a1}^{(k)}\text{tanh}(W_{a0}^{(k)}{h}_n^{(k)}({\overline{v}}^{(k-1)}\odot s_n)+b_{a0}^{(k)})+b_{a1}^{(k)})]$$
可以看出，学习注意力的过程中，同时考虑了 { s n } n = 1 N \{s_n\}_{n=1}^{N} {sn​}n=1N​（query word feature，N代表word个数）、${\overline{v}}^{(k-1)}$（text-conditional visual feature）和 { h n ( k ) } n = 1 N \{h_{n}^{(k)}\}_{n=1}^{N} {hn(k)​}n=1N​（history vector）。其中：

• { s n } n = 1 N \{s_n\}_{n=1}^{N} {sn​}n=1N​没什么好说的，就是query中每个单词的特征；
• ${\overline{v}}^{(k-1)}$是上一轮得到的text-conditional visual feature的均值池化（$H\times W\times C\to 1\times 1\times C$）；
• { h n ( k ) } n = 1 N \{h_{n}^{(k)}\}_{n=1}^{N} {hn(k)​}n=1N​表示每个word在以前的迭代过程中没被“访问”的概率，通过${\mathbf{h}}^{(\mathbf{k})}=\text{1}-\text{min}({\sum }_{\mathbf{i}=1}^{\mathbf{k}-1}{\alpha }^{(\mathbf{i})},1)$计算。

对于这部分，作者添加了两个loss，如下所示：

• $L_{div}=||A^{T}A\odot (1-I)|{|}_F^2$，$A$是$K\times N$的矩阵，由每轮迭代得到的attention拼接而成，$K$是迭代轮数，$N$是word个数。此loss用于控制每一轮中，不应该focus在相同的单词上，也就是强制提升每轮迭代关注的单词的差异性。
• $L_{cover}=||1-\text{min}({\sum }_{\mathbf{i}=1}^{\mathbf{K}}{\alpha }^{(\mathbf{i})},1)|{|}_1$，此loss用于提升word的查全性。
  

子查询调制器就是基于子查询学习器得到的注意力，对text-conditional visual feature进行refine，增强referred object的特征，并压制其他object的特征。共分为三步：

1. 基于子查询学习器得到的${\alpha }_n^{(k)}$对$s_n$添加attention，得到$q^{(k)}={\sum }_{n=1}^N{\alpha }_n^{(k)}{s}_n$；
2. 基于$q^{(k)}$，分别使用两个MLPs得到尺度向量${\gamma }^{(k)}=\text{tanh}(W_{\gamma }^{(k)}{q}^{(k)}+b_{\gamma }^{(k)})$和平移向量${\beta }^{(k)}=\text{tanh}(W_{\beta }^{(k)}{q}^{(k)}+b_{\beta }^{(k)})$。
3. 基于上一轮迭代得到的text-conditional visual feature $v^{(k-1)}$、尺度向量${\gamma }^{(k)}$和平移向量${\beta }^{(k)}$，计算得到此轮的text-conditional visual feature $v^{(k)}$，具体公式为：
   v ( k ) ( i , j ) = f 2 { R e L U [ f 1 ( v ( k − 1 ) ( i , j ) ) ⊙ γ ( k ) + β ( k ) ] + v ( k − 1 ) ( i , j ) } v^{(k)}(i,j)=f_2\{ ReLU[f_1(v^{(k-1)}(i,j)) \odot \gamma^{(k)} + \beta^{(k)}] +v^{(k-1)}(i,j) \} v(k)(i,j)=f2​{ReLU[f1​(v(k−1)(i,j))⊙γ(k)+β(k)]+v(k−1)(i,j)}
   上式中，$f_1,f_2$是两个可学习的mapping层，具体结构在上面的整体框架图中有展示，$f_1=1\times 1\text{conv}+\text{instance normalization layer}$，$f_2=3\times 3\text{conv}+\text{BN}+\text{ReLU}$。

实验

在RefCOCO、RefCOCO+和RefCOCOg上的实验结果：

在ReferItGame和Flickr30K Entities上的实验结果：

关于query modeling的消融实验：

一些可视化的结果：