论文笔记整理:李爽,天津大学。
链接:https://arxiv.org/pdf/2001.03615v1.pdf
动机
随着“自下而上”注意力的普及,基于边界框(或区域)的视觉特征最近已经超越了传统的基于网格的卷积特征,成为视觉和语言任务的事实标准。然而,目前尚不清楚区域优势是否是自下而上的注意力成功的关键原因。作者重新审视了用于VQA的网格特性,发现它们的性能令人惊讶——在同样的精度下,运行速度要快一个数量级。通过大量的实验,作者验证了这种观察在不同的VQA模型(报告了最先进的VQA 2.0 test-std, 72.71)、数据集上都是正确的,并且可以很好地推广到其他任务,比如图像描述。作者从头到尾学习了VQA模型,从像素直接到答案,并证明了在训练前不使用任何区域标注也可以实现较强的性能。
亮点
在基于边界框的视觉特征已经广为应用,替代了传统的基于网格特征的现状下,作者又重新审视了网格特征,将网格特征与区域特征进行实验对比,探索二者的性能是否存在大的差异。
论文框架介绍
Bo