TPAMI 2024 | 每个问题，每个步骤，全部聚焦：通过集成注意力学习解决视觉-语言问题

题目：Every Problem, Every Step, All in Focus: Learning to Solve Vision-Language Problems With Integrated Attention

每个问题，每个步骤，全部聚焦：通过集成注意力学习解决视觉-语言问题

作者：Xianyu Chen; Jinhui Yang; Shi Chen; Louis Wang; Ming Jiang; Qi Zhao

源码链接： https://github.com/chenxy99/SGAN

---

摘要

集成视觉和语言模态的信息在计算机视觉和自然语言处理领域激发了有趣的应用。尽管现有方法在图像描述和视觉问题回答等任务上显示出了前景，但它们在理解现实生活问题和提供分步解决方案方面面临挑战。特别是，它们通常将解决方案的范围限制在具有序列结构的解决方案上，从而忽略了复杂的多步骤依赖性。为了弥补这一差距，我们提出了一种基于图的方法来解决视觉-语言问题。它利用了一种新颖的集成注意力机制，该机制联合考虑了每个步骤内的特征重要性以及多个步骤间的跨步骤依赖性。结合图神经网络方法，这种注意力机制可以逐步学习，以预测依赖于问题解决过程特征的序列和非序列解决方案图。为了将注意力与问题解决过程紧密结合，我们进一步设计了新的学习目标和注意力度量标准，以量化这种集成注意力，这更好地对齐了步骤内的视觉和语言信息，并更准确地捕获了步骤间的信息流。在VisualHow数据集上的实验结