背景
论文来源https://arxiv.org/abs/2011.02164
暂未接收 可信度值得考量
这篇论文是在杭电MCAN论文基础上做的改进。
摘要
作者提出了一种Attention on Attention(AoA)的方法以及新的多模态融合方法以用于VQA任务中。
动机
作者认为,MACN中使用的SA和GA的不足:
尽管这种注意力的表达方式和高度灵活,但它仍有局限性。具体来说,结果总是模型所关注的值对的加权组合。当模型所处的没有紧密相关的上下文时(例如,一个单词没有上下文单词或图像区域存在),这可能会产生问题。在这种情况下,注意力会导致噪声,或者更糟的是,分散注意力的输出向量进而对性能产生负面影响。
(个人理解,这个motivation不是很有说服力,如果没有强相关的上下文,那么加权时候对应的元素分配极小的权重不就可以了吗?另外本来权重参数都是自适应学习的)
方法
作者改进后的SA和GA结构示意图如下。改动部分红框标出: