【IMF：链接预测的交互式多模态融合模型】（非常详细），收藏这一篇就够了

自我介绍：

您好，我们是一群热情洋溢的探索者，致力于深耕于知识图谱和大型语言模型（LLM）领域。我们的目标是挖掘、分析并分享那些能够启迪思维、推动科学进步的优质学术论文。我们坚信，知识的传播和交流是促进创新和社会发展的关键力量。

论文标题

IMF: Interactive Multimodal Fusion Model for Link Prediction
IMF：链接预测的交互式多模态融合模型

论文链接

https://github.com/HestiaSky/IMF-Pytorch

作者

Xinhang Li，Xiangyu Zhao∗，Jiaxing Xu，Yong Zhang∗，Chunxiao Xing

论文背景

链接预测旨在识别知识图中潜在的缺失三元组。为了得到更好的结果，最近的一些研究引入了多模态信息来进行链接预测。然而，这些方法单独利用多模态信息，忽略了不同模态之间复杂的相互作用。在本文中，我们旨在更好地建模跨模态信息，从而引入一种新的交互式多模态融合（IMF）模型来整合来自不同模态的知识。为此，我们提出了一个两阶段的多模态融合框架，以保留模态特定知识，并利用不同模态之间的互补性。我们的多模态融合模块不是直接将不同的模态投射到一个统一的空间中，而是限制了不同模态的独立表示，同时利用双线性池进行融合，并将对比学习作为额外的约束。此外，决策融合模块提供所有模式预测的学习加权平均，以更好地融合不同模式的互补性。通过对几个真实世界数据集的实证评估，我们的方法已被证明是有效的。

问题分析

知识图谱（Knowledge Graph， KG）存储了丰富的知识，对于许多现实世界的应用来说是必不可少的，比如问答、城市计算和推荐系统。通常，KG由关系三元组组成，表示为<头部实体，关系，尾部实体>。然而，由于知识的复杂性、多样性和可变性，KG不可避免地是不完整的。为了弥补这一差距，研究了链接预测问题，以预测潜在的缺失三元。传统的链路预测模型，包括基于翻译的和神经网络方法，存在三元组间的结构偏差问题。最近，一些研究通过丰富数据集并提出新的模型来捕获用于链接预测的多模态信息来解决这一问题。然而，这些研究的表现是有限的，因为它们将所有模态以相同的关系投射到一个统一的空间中，