Attention on Attention for Image Captioning.
2019-ICCV
L. Huang, W. Wang, J. Chen, and X.-Y. Wei.
问题
-
解码器几乎不知道注意力加权向量V^和给定的查询Q是否相关或如何相关。
-
在某些情况下,注意力结果不是解码器所期望的。比如当没有满足特定查询的需求时,注意模块仍然返回一个加权平均向量,这与查询完全无关。
思路
-
从查询Q和加权值V^,生成 “信息向量”和“注意门”,相乘后,获得“关注信息”,即所期望的有用的信息。(AoA结构)
-
AoA可以运用在不同的注意力机制。对于单头注意,AoA有助于确定注意结果与查询之间的相关性。对于多头注意,AoA有助于建立不同注意头之间的关系,过滤保留有用的注意结果。
Contribution
-
提出AoA结构。
-
将AoA应用在编码器和解码器,构成AoANet。在编码器中,AoA有助于更好地建模图像中不同对象之间的关系;在解码器中,AoA过滤掉无关的注意结果,只保留有用的结果。
方法
-
AoA