2018：Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering

摘要

          本文中，我们提出一种结合bottom-up和top-down的注意力机制，能够在对象和其它显著图像区域的水平上计算注意力。在我们的方法中，bottom-up的机制(基于Faster R-CNN)提出图像区域，每个区域都有一个相关的特征向量，而top-down的机制决定了特征权重。将此方法应用到VQA上，获得2017的VQA挑战中的第一名。

一、介绍

        视觉注意力机制通过学习关注图像中的基于深度神经网络架构的突出区域来提高性能。

         在人类视觉系统中，注意力可以通过当前任务决定top-down信号来卷积地聚焦，并通过意外的、新的或显著的刺激相关的bottom-up信号自动聚焦。本文中，我们将由非视觉或特定任务情境驱动的注意力机制称为“top-down”，将视觉反馈注意力机制成为“bottom-up”。

       大多在VQA中使用的传统的视觉注意力机制是top-down的多样性，对于与图像相关的问题，这些机制通常被训练为有选择地关注卷积神经网络的一个或多个层的输出。但是，这种方法很少考虑如何确定需要注意的图像区域。

        我们提出一个结合bottom-up和top-down的视觉注意力机制，bottom-up机制提出一组显著的图像区域，每个区域由一个池化的卷积特征向量表示，使用Faster R-CNN来实现bottom-up注意力，代表一个bottom-up注意力机制的自然表示。top-down机制使用特定任务的上下文来预测图像区