论文浅尝 | Hybrid Transformer Fusion for Multimodal KG Completion

笔记整理：陈子强，天津大学硕士，研究方向为自然语言处理

论文链接：https://arxiv.org/pdf/2205.02357.pdf

动机

尽管多模态知识图谱补全较单模态知识图谱补全已经有了很大的改进，但仍然存在两个限制。（1）架构的通用性。不同的多模态知识图谱补全需要在不同的编码器架构之上建立特定的、单独参数化的融合模块。因此需要一个统一的模型用于各个多模态知识图谱补全任务。（2）模态噪声。当前的大部分多模态知识图谱，一个实体对应于多个图像，部分图像与实体无关，甚至包含大量噪声。

方法

针对动机中提到的两点不足，文章的方法分布两部分：

（1）论文提出提出MKGformer框架，用M-Encoder将视觉Transformer和文本Transformer进行多层级融合。可以构建一个通用的多模态知识图谱补全框架。

（2）对于模态包含的噪声信息。首先，在M-Encoder的自注意力模块提出一个粗粒度的前缀引导交互模块，为下一步减小模态异构性做好准备。其次，在M-Encoder的前馈神经网络部分提出关联感知模块，获取细粒度的图文表示，降低对无关图像的错误敏感性。