基于多模态知识图谱的多模态推理-MR-MKG（非常详细）零基础入门到精通，收藏这一篇就够了

MR-MKG论文中提出了一种新的多模态推理方法，即利用多模态知识图（Multimodal Knowledge Graph, MMKG）进行多模态推理的方法。这种方法旨在通过从MMKG中学习，扩展大型语言模型（LLMs）的多模态知识。

1 三个模块

MR-MKG方法主要包含以下三个模块，分别处理不同的模态信息：

1. 文本编码(Language Encoder)：将问题文本进行嵌入得到表征，随后将其输入LLMs以提供指导和指令。

2. MMKG编码(KG Encoder)：使用关系图注意网络（Relation Graph Attention Network, RGAT）对检索到的MMKG子网络进行编码，生成能够捕捉复杂图结构的知识节点嵌入。

3. 视觉图片编码(CLIP):利用CLIP将实体相关的图片信息进行嵌入得到图片的嵌入向量表示。

2 三个步骤

通过上述三个模块获得相应模态的特征表示之后，在进行下面几个步骤：

1. 跨模态适配©：设计知识和视觉适配层，以跨越模态之间的差距，分别将知识节点嵌入和视觉图片嵌入映射到LLMs的文本嵌入中。

2. 跨模态对齐(Alignment loss)：引入新的跨模态对齐模块，通过MMKG内的匹配任务优化图像-文本对齐。

3. 指令微调训练(Generative loss)：在自定义的MMKG数据集上对MR-MKG进行微调训练，该数据集通过将每个VQA实例与相应的MMKG匹配构建，包含回答问题所需的基本知识。

3 结语

MR-MKG方法通过利用MMKG中的丰富知识（图像、文本和知识三元组），显著增强了LLMs的多模态推理能力，展示了其在多模态问答和类比推理任务上的有效性和优势。

论文题目：Multimodal Reasoning with Multimodal Knowledge Graph

论文链接：https://arxiv.org/abs/2406.02030

AI大模型学习福利

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版CSDN大礼包：《AGI大模型学习资源包》免费分享

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版CSDN大礼包：《AGI大模型学习资源包》免费分享

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版CSDN大礼包：《AGI大模型学习资源包》免费分享

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版CSDN大礼包：《AGI大模型学习资源包》免费分享

四、AI大模型商业化落地方案

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版CSDN大礼包：《AGI大模型学习资源包》免费分享

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。