【论文阅读笔记】Attention on Attention for Image Captioning.

Attention on Attention for Image Captioning. 

2019-ICCV

L. Huang, W. Wang, J. Chen, and X.-Y. Wei.

问题

1. 解码器几乎不知道注意力加权向量V^和给定的查询Q是否相关或如何相关。

2. 在某些情况下，注意力结果不是解码器所期望的。比如当没有满足特定查询的需求时，注意模块仍然返回一个加权平均向量，这与查询完全无关。

思路

1. 从查询Q和加权值V^，生成 “信息向量”和“注意门”，相乘后，获得“关注信息”，即所期望的有用的信息。（AoA结构）

2. AoA可以运用在不同的注意力机制。对于单头注意，AoA有助于确定注意结果与查询之间的相关性。对于多头注意，AoA有助于建立不同注意头之间的关系，过滤保留有用的注意结果。

Contribution

1. 提出AoA结构。

2. 将AoA应用在编码器和解码器，构成AoANet。在编码器中，AoA有助于更好地建模图像中不同对象之间的关系；在解码器中，AoA过滤掉无关的注意结果，只保留有用的结果。

方法

1. AoA