有代码Contrast then Memorize: Semantic Neighbor Retrieval-EnhancedInductive Multimodal Knowledge

摘要

多模态知识图谱补全（Multimodal Knowledge Graph Completion， MKGC）用于预测MKGs中缺失环节的研究已经大量涌现。然而，很少有研究提出归纳MKGC （IMKGC）涉及在训练过程中未见的新兴实体。现有的归纳方法侧重于文本实体表征的学习，忽视了视觉形态中丰富的语义信息。此外，它们侧重于从现有的KGs中聚集结构邻居，而新兴实体的结构邻居通常是有限的。然而，语义邻居与拓扑链接解耦，通常暗示真正的目标实体。在本文中，我们提出了IMKGC任务和语义邻居检索增强的IMKGC框架CMR，其中对比使有用的语义邻居接近，然后记忆支持语义邻居检索来增强推理。具体来说，我们首先提出了一种统一的跨模态对比学习，以在统一的表示空间中同时捕获查询-实体对的文本-视觉和文本-文本相关性。对比学习增加了正向查询-实体对的相似性，从而使有用的语义邻居的表示接近。然后，我们显式记忆知识表示，以支持语义邻居检索。在测试时，我们检索最近的语义邻居，并将它们插入到查询实体相似度分布中，以增强最终的预测。大量实验验证了CMR在三个归纳MKGC数据集上的有效性。代码可在https://github.com/OreOZhao/CMR上获得。

1.介绍

多模态知识图（Multimodal Knowledge G