One-Stage Visual Grounding via Semantic-Aware Feature Filter

**本文内容仅代表个人理解，如有错误，欢迎指正**

隐约感觉到最近看的几篇论文都指出之前One-stage visual grounding methods大多利用pre-trained BERT将query编码为一个holistic vector，比较方便简单。但这样做的话，弱化了query中存在的语义信息，即对query的信息挖掘不足。所以，最近的文章都立足于如何能够更好地挖掘并利用query中存在的语义信息，从而辅助模型更准确地进行目标物体的框选。

1. Problem

本篇论文主要解决的问题：之前的一些方法直接将提取出的textual feature和visual feature map简单concatenate(拼接)起来，忽略了textual semantics(query中存在的语义信息)，即没有很好地利用起query中包含的信息，从而降低了模型的表现。(其实说得有点笼统，只能说这个问题是存在的，但是这个解释有点弱)

2. Point

本篇论文的亮点在于：

1. 利用Standford Scene Graph Parser将query转化为Scene graph作为除Visual feature maps和query representations之外的一个额外输入，帮助模型更好地理解query中存在的语义信息(论文作者认为，"different aspects of the query have different effects on visual grounding and should be dealt with separately"，个人理解是，要对query进行分析、分解，并根据query中词的不同有针对性地进行处理)。

2. 提出Entity-Attribute-Location Module(Filters)，充分利用query representation和scene graph信息逐步过滤visual feature map中不相关的部分，从而准确框选出目标物体。

3. Main Components

- 本篇论文的模型主要可以分为三个部分 1. Image and text representation 2. Entity-Attribute-Location filtering module 3. grounding module 具体模型图如Figure 2所示，简单来说就是当我们得到visual feature map之后，我们通过Entity Filter、Attribute Filter以及Location Filter逐步过滤掉该feature map中不相关的部分，得到最终的一个相关性被增强了的feature map输入到grounding module中进行目标物体的预测。接下来我们将依次介绍以上三个部分。

3.1. Image and text representation 

- 首先要清楚的是，我们的输入有两部分，1. Input image 2.