本文是关于《Multi-level Attention Networks for Visual Question Answering》的阅读笔记，探讨了如何通过多层注意力机制来解决视觉问答中的语义鸿沟和细粒度空间推理问题。文中介绍了使用深度卷积神经网络进行语义注意力和上下文感知视觉注意力的学习，以及联合注意力学习的方法，实验证明这种方法在两个大型数据集上取得了最佳结果。
《Multi-level Attention Networks for Visual Question Answering》阅读笔记
一、研究背景
- effective semantic embedding and fine-grained visual understanding；
- 人类语言问题以明确的查询意图传达强大的高级语义，而具有数万个像素的真实世界图像则相对低级且抽象，由于众所周知的语义差距，这对深度图像理解提出了巨大的挑战；
- 视觉问题回答需要细粒度的空间推理，因为某些答案只能从高度本地化的图像区域推断出“What”和“Where”的问题
二、文章贡献
- 我们通过共同学习multi-level attention来解决自动视觉问题回答的挑战，这可以同时减少从视觉到语言的语义鸿沟，并有益于VQA任务中的细粒度推理；
- 我们引入了一种新颖的视觉注意空间编码方法，通过双向RNN模型从有序图像区域中提取上下文感知视觉特征
三、实验模型
Semantic Attention
- 通过深度卷积神经网络训练概念检测器，它可以产生图像的语义概念概率；
最低0.47元/天 解锁文章
扫一扫
6万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
