用于场景图问答的语言引导图神经网络
图片不只是一个对象和属性的集合,他们代表了一个互相连接的对象的关系网,场景图作为图像的结构化图形表示,已经成为一种新的表现形式。场景图将物体编码为通过成对边关系连接的节点,
为了在场景图上进行问答,本文提出了 GraphVQA,一个语言引导的图神经网络框架,将一个自然语言问题转换并执行为在图节点上的多次迭代信息传递。我们探索了GraphVQA框架的设计空间,讨论不同设计选择之间的平衡,获得了很好的性能。
Introduction
图像不仅仅是对象或属性的集合。每幅图像代表相互连接的对象之间的关系网络。为了形式化图像的表示,Visual Genome(Krishna等人,2007a)定义了场景图,这是一种图像的结构化形式化图形表示,类似于知识库表示中广泛使用的形式。如图1所示,场景图将对象(例如,女孩、汉堡)编码为通过成对关系(例如,持有)连接的节点作为边。场景图已被引入用于图像检索(Johnson等人,2015年)、图像生成(Johnson等人,2018年)、图像字幕(Anderson等人,2016年)、理解教学视频(Huang等人,2018年)和情景角色分类(Li等人,2017年)。
消息传递后的最终状态表示答案(比如,托盘),中间状态反映模型的推理,每个消息传递迭代由图神经网络(GNN)层完成,我们探讨了GraphVQA中的各种小新传递设计,并讨论了不同设计选择之间的权衡。
场景图问答与视觉问答密切相关。虽然在场景图生成方面已经有了很多的研究工作,但是<