知识图
文章平均质量分 92
weixin_42653320
主要做视觉问答方向
展开
-
2021:Passage Retrieval for Outside-KnowledgeVisual Question Answering通道检索的外部知识视觉问答
摘要 在这项工作中,我们通过关注外部知识视觉问答的通道检索来解决多模态信息需求。这项任务需要访问外部知识,我们定义为一个大的非结构化通道集合。我们首先用BM25进行稀疏检索,并研究用对象名和图像标注来扩展问题。我们验证了视觉线索的重要性,在稀疏检索中,标注比对象名更有信息量。然后,我们构建了一个双编码的密集检索器,查询编码器是LXMERT,一个多模态预训练transformer。我们进一步表明,密集检索器的性能显著优于使用对象展开的稀疏检索,而且,密集检索与利用人类生成标注的稀疏检索的性能...原创 2021-07-22 18:19:52 · 479 阅读 · 0 评论 -
2021:Zero-shot Visual Question Answering using Knowledge Graphs使用知识图的零次视觉问答
摘要 现在的方法主要采用不同组件的管道方法来学习知识匹配和提取、特征学习等,但是当某些组件性能不佳时,这种管道方法就会受到影响,从而导致错误的传播和整体性能变差。而且,大多现有方法忽视答案偏见问题--即很多答案在训练期间中未出现过。为弥补这些差距,本文提出一种使用知识图谱和基于掩码的学习机制的零镜头VQA算法,以更好融入外部知识,并为F-VQA数据集提出新的基于答案的零镜头VQA分割。实验表明,我们的方法在未见的答案的零镜头VQA中实现最佳性能,同时显著增强了正常VQA任务中现有的端到端模...原创 2021-07-19 15:33:17 · 1353 阅读 · 1 评论