论文笔记:IMF: Interactive Multimodal Fusion Model for Link Prediction
最近一些研究将多模态信息引入到链接预测中,但是这些方法是分别利用多模态信息的,忽略了不同模态之间的复杂交互。为了更好地建模模态间的信息,引入一种交互式多模态融合模型,整合不同模态间的知识。通过两阶段式多模态融合框架来保存特定模态的知识,并利用不同模态之间的交互。多模态融合模块没有将不同模态投影到一个统一的向量空间,而是限制了不同模态的独立表示,同时利用双线性池化进行融合,并将对比学习作为额外的约束。此外,决策融合模块在所有模态预测的上提供学习到的加权平均,以更好地整合不同模态的互补性。
原创
2024-03-25 21:17:42 ·
852 阅读 ·
0 评论