基于多模态知识图谱的多模态推理-MR-MKG（非常详细）零基础入门到精通，收藏这一篇就够了

MR-MKG论文中提出了一种新的多模态推理方法，即利用多模态知识图（Multimodal Knowledge Graph, MMKG）进行多模态推理的方法。这种方法旨在通过从MMKG中学习，扩展大型语言模型（LLMs）的多模态知识。

1 三个模块

MR-MKG方法主要包含以下三个模块，分别处理不同的模态信息：

1. 文本编码(Language Encoder)：将问题文本进行嵌入得到表征，随后将其输入LLMs以提供指导和指令。

2. MMKG编码(KG Encoder)：使用关系图注意网络（Relation Graph Attention Network, RGAT）对检索到的MMKG子网络进行编码，生成能够捕捉复杂图结构的知识节点嵌入。

3. 视觉图片编码(CLIP):利用CLIP将实体相关的图片信息进行嵌入得到图片的嵌入向量表示。

2 三个步骤

通过上述三个模块获得相应模态的特征表示之后，在进行下面几个步骤：

1. 跨模态适配©：设计知识和视觉适配层，以跨越模态之间的差距，分别将知识节点嵌入和视觉图片嵌入映射到LLMs的文本嵌入中。

2. 跨模态对齐(Alignment loss)：引入新的跨模态对齐模块，通过MMKG内的匹配任务优化图像-文本对齐。

3. 指令微调训练(Generative loss)：在自定义的MMKG数据集上对MR-MKG进行微调训练，该数据集通过将每个VQA实例与相应的MMKG匹配构建，包含回答问题所需的基本知识。

3 结语

MR-MKG方法通过利用MMKG中的丰富知识（图像、文本和知识三元组），显著增强了LLMs的多模态推理能力，展示了其在多模态问答和类比推理任务上的有效性和优势。

论文题目：Multimodal Reasoning with Multimodal Knowledge Graph

论文链接：https://arxiv.org/abs/2406.02030

题外话

黑客&网络安全如何学习

今天只要你给我的文章点赞，我私藏的网安学习资料一样免费共享给你们，来看看有哪些东西。

1.学习路线图

攻击和防守要学的东西也不少，具体要学的东西我都写在了上面的路线图，如果你能学完它们，你去就业和接私活完全没有问题。

2.视频教程
网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己录的网安视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

内容涵盖了网络安全法学习、网络安全运营等保测评、渗透测试基础、漏洞详解、计算机基础知识等，都是网络安全入门必知必会的学习内容。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

🐵这些东西我都可以免费分享给大家，需要的可以点这里自取👉:网安入门到进阶资源

3.技术文档和电子书
技术文档也是我自己整理的，包括我参加大型网安行动、CTF和挖SRC漏洞的经验和技术要点，电子书也有200多本，由于内容的敏感性，我就不一一展示了。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

🐵这些东西我都可以免费分享给大家，需要的可以点这里自取👉:网安入门到进阶资源

4.工具包、面试题和源码
“工欲善其事必先利其器”我为大家总结出了最受欢迎的几十款款黑客工具。涉及范围主要集中在 信息收集、Android黑客工具、自动化工具、网络钓鱼等，感兴趣的同学不容错过。

还有我视频里讲的案例源码和对应的工具包，需要的话也可以拿走。

🐵这些东西我都可以免费分享给大家，需要的可以点这里自取👉:网安入门到进阶资源

最后就是我这几年整理的网安方面的面试题，如果你是要找网安方面的工作，它们绝对能帮你大忙。

这些题目都是大家在面试深信服、奇安信、腾讯或者其它大厂面试时经常遇到的，如果大家有好的题目或者好的见解欢迎分享。

参考解析：深信服官网、奇安信官网、Freebuf、csdn等

内容特点：条理清晰，含图像化表示更加易懂。

内容概要：包括 内网、操作系统、协议、渗透测试、安服、漏洞、注入、XSS、CSRF、SSRF、文件上传、文件下载、文件包含、XXE、逻辑漏洞、工具、SQLmap、NMAP、BP、MSF…

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

🐵这些东西我都可以免费分享给大家，需要的可以点这里自取👉:网安入门到进阶资源
————————————————

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。