用于图像描述的注意上的注意模型《Attention on Attention for Image Captioning》

目录

一、文献摘要介绍

二、网络框架介绍

三、实验分析

四、结论

---

本文有点长，请耐心阅读，定会有收货。如有不足，欢迎交流， 另附:论文下载地址

一、文献摘要介绍

Attention mechanisms are widely used in current encoder/decoder frameworks of image captioning, where a weighted average on encoded vectors is generated at each time step to guide the caption decoding process. However, the decoder has little idea of whether or how well the attended vector and the given attention query are related, which could make the decoder give misled results. In this paper, we propose an “Attention on Attention” (AoA) module, which extends the conventional attention mechanisms to determine the relevance between attention results and queries. AoA fifirst generates an “information vector” and an “attention gate” using the attention result and the current context, then adds another attention by applying element-wise multiplication to them and fifinally obtains the “attended information”, the expected useful knowledge. We apply AoA to both the encoder and the decoder of our image captioning model, which we name as AoA Network (AoANet). Experiments show that AoANet outperforms all previously published methods and achieves a new state-of-the-art performance of 129.8 CIDEr-D score on MS COCO “Karpathy” offlfline test split and 129.6 CIDEr-D (C40) score on the offificial online testing server.

作者认为注意力机制在当前的图像描述编码器/解码器框架中广泛使用，其中在每个时间步生成编码矢量的加权平均值以指导描述的解码过程。但是，解码器几乎不了解相关向量和给定注意力查询之间的关系或关联程度如何，这可能会使解码器给出错误的结果。在本论文中，作者提出了一个“Attention on Attention”(AoA)模块，该模块扩展了常规的注意力机制，以确定注意力结果和查询结果的相关性。AoA首先使用注意力结果和当前的上下文生成一个“信息向量”和一个“注意力门”，然后通过对它们进行逐元素乘法来增加另外一个注意力，最终获得“关注信息”，即预期的有用知识。我们将AoA应用于描述模型的编码器和解码器中，将其命名为AoA Network（AoANet）。实验表明，AoANet的性能优于以前发布的所有方法。

二、网络框架介绍

下图展示了“Attention on Attention”(AoA)模块，AoA使用注意力结果和注意力查询生成信息向量和注意力门，并通过将门应用于信息来添加另一个注意并获得关注信息。

将AoA应用于编码器和解码器，以组成AoANet，在编码器中，AoA有助于更好地建模图像中不同对象之间的关系，在解码器中，AoA过滤掉无关的注意力结果，仅保留有用的结果，下面进行详细分析该框架。

2.1Attention on Attention

        经典的注意力模块 对某些查询(queries)，键(keys)和值(values) 进行操作，并生成一些加权平均向量(分别由 和 表示)，如图2(a)所示。它首先测量Q和K之间的相似性，然后使用相似度分数计算V上的加权平均向量，这些向量可以表述为：