CVPR
文章平均质量分 91
weixin_42653320
主要做视觉问答方向
展开
-
2019:Answer Them All! Toward Universal Visual Question Answering Models
摘要 视觉问题回答(VQA)研究分为两个阵营:第一个关注需要自然图像理解的VQA数据集,第二个关注测试推理的合成数据集。一个好的VQA算法应该同时能够实现,但只有少数VQA算法用这种方法进行测试。我们比较了在覆盖这两个领域的8个VQA数据集上的五种最先进的VQA算法,为了使比较公平,所有的模型都尽可能地标准化了,例如,它们使用相同的视觉特征、答案词汇等。我们发现这些方法并不能推广到这两个领域。为了解决这个问题,我们提出了一种新的VQA算法,它可以在这两个领域上竞争或超过最先进的算法。 一...原创 2021-09-17 10:22:41 · 289 阅读 · 0 评论 -
CVPR2021:Separating Skills and Concepts for Novel Visual Question Answering将技巧与概念分开的新视觉问答
摘要 推广到分布外的数据一直是VQA的问题,为解决对新问题的推广,我们建议将它们分为“技巧”和"概念","技巧"是视觉任务,如计数和属性识别,被应用到"概念"(如物体和人)中。VQA方法应该能够以新的方式组合"技能"和"概念",无论在训练中如何,但我们证明现有模型在处理新组合方面有很多需要改进。我们提出了一种学习组合"技能"和"概念"的新方法,通过学习基础概念表示并从概念编码中区分出技巧编码,在模型中隐式地分离这两个因素。我们用一种新的对比学习过程来执行这些属性,它不依赖于外部注释,并且可...原创 2021-07-19 09:29:05 · 407 阅读 · 0 评论 -
CVPR2021:Found a Reason for me? Weakly-supervised Grounded Visual Question Answering using Capsules
使用胶囊的弱监督基础视觉问答 摘要 VQA任务的接地问题最近得到了越来越多的关注,大多尝试使用预训练的目标检测器解决此问题,然而,预训练检测器需要边界框注释来检测词汇表中相关的对象,这对实际大规模应用可能是不可行的。本文关注一个更轻松的设置:通过对VQA任务的训练,以弱监督的方式接地相关实体。我们提出一个视觉胶囊模块,一种基于查询胶囊特征的选择模块,允许模型关注与视觉信息相关的文本线索的区域。我们表明了在VQA系统集成这种胶囊模块可显著提高弱监督接地任务上的性能。我们展示了我们的方法...原创 2021-07-07 09:17:31 · 525 阅读 · 1 评论