多模态融合(六)An Improved Attention for Visual Question Answering

背景

论文来源https://arxiv.org/abs/2011.02164
暂未接收 可信度值得考量
这篇论文是在杭电MCAN论文基础上做的改进。

摘要

作者提出了一种Attention on Attention(AoA)的方法以及新的多模态融合方法以用于VQA任务中。

动机

作者认为，MACN中使用的SA和GA的不足：
尽管这种注意力的表达方式和高度灵活，但它仍有局限性。具体来说，结果总是模型所关注的值对的加权组合。当模型所处的没有紧密相关的上下文时(例如，一个单词没有上下文单词或图像区域存在)，这可能会产生问题。在这种情况下，注意力会导致噪声，或者更糟的是，分散注意力的输出向量进而对性能产生负面影响。
（个人理解，这个motivation不是很有说服力，如果没有强相关的上下文，那么加权时候对应的元素分配极小的权重不就可以了吗？另外本来权重参数都是自适应学习的）

方法

作者改进后的SA和GA结构示意图如下。改动部分红框标出：