论文浅尝 - CVPR2020 | 基于网格特征的可视问答系统

论文笔记整理：李爽，天津大学。

---

链接：https://arxiv.org/pdf/2001.03615v1.pdf

动机

随着“自下而上”注意力的普及，基于边界框(或区域)的视觉特征最近已经超越了传统的基于网格的卷积特征，成为视觉和语言任务的事实标准。然而，目前尚不清楚区域优势是否是自下而上的注意力成功的关键原因。作者重新审视了用于VQA的网格特性，发现它们的性能令人惊讶——在同样的精度下，运行速度要快一个数量级。通过大量的实验，作者验证了这种观察在不同的VQA模型(报告了最先进的VQA 2.0 test-std, 72.71)、数据集上都是正确的，并且可以很好地推广到其他任务，比如图像描述。作者从头到尾学习了VQA模型，从像素直接到答案，并证明了在训练前不使用任何区域标注也可以实现较强的性能。

亮点

在基于边界框的视觉特征已经广为应用，替代了传统的基于网格特征的现状下，作者又重新审视了网格特征，将网格特征与区域特征进行实验对比，探索二者的性能是否存在大的差异。

论文框架介绍

Bo