Multimodal Reasoning with Multimodal Knowledge Graph

摘要

大型语言模型（llm）的多模态推理常常存在幻觉和llm中存在缺陷或过时的知识。一些方法试图通过使用文本知识图来缓解这些问题，但其单一的知识形态限制了全面的跨模态理解。本文提出了多模态推理与多模态知识图（MR-MKG）方法，该方法利用多模态知识图（mmkg）跨模态学习丰富的语义知识，显著提高了法学硕士的多模态推理能力。其中，利用关系图关注网络编码MMKGs，设计了跨模态对齐模块优化图像-文本对齐。构建了基于mmkgground的数据集，通过预训练为llm提供多模态推理的初始专业知识。值得注意的是，MR-MKG在只训练一小部分参数（约为LLM参数大小的2.25%）的情况下取得了优异的性能。在多模态问答和多模态类比推理任务上的实验结果表明，我们的MR-MKG方法优于以前最先进的模型。

1.介绍

最近，大型语言模型（llm） (Chen et al ., 2020；Achiam等人，2023)已经证明了它们在各种NLP任务中的优越性和鲁棒性(Zhang等人，2024b；Robinson et al ., 2023；Chang et al ., 2024)。为了进一步释放法学硕士的潜力，研究人员(Wu et al ., 2023a；黄等，2023