- 博客(2)
- 收藏
- 关注
RSS订阅原创 【KM-BART：用于视觉常识生成的知识增强多模态BART】（非常详细），收藏这一篇就够了
于知识的常识生成(knowledge -based Commonsense Generation, KCG)的预训练任务通过利用在外部常识知识图上预训练的大型语言模型中的常识知识，提高了模型在VCG任务上的性能。
2024-08-13 11:25:27
764
原创 基于多模态知识图谱的多模态推理-MR-MKG（非常详细）零基础入门到精通，收藏这一篇就够了
多模态推理与大型语言模型（LLMs）经常遭受幻觉的困扰，以及LLMs内部知识不足或过时的问题。一些方法通过使用文本知识图谱来缓解这些问题，但它们单一的知识模态限制了全面的跨模态理解。在本文中，我们提出了一种基于多模态知识图谱的多模态推理（MR-MKG）方法，该方法利用多模态知识图谱（MMKGs）来学习跨模态的丰富语义知识，显著增强了LLMs的多模态推理能力。特别是，使用关系图注意力网络对MMKGs进行编码，并设计了一个跨模态对齐模块来优化图像-文本对齐。
2024-08-11 16:00:07
963
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人