Multi-Modal Knowledge Graph（多模态知识图谱）

本篇博文梳理一篇knowledge-based方向的文章，结合了多模态知识的多模态知识图谱。来自复旦大学，先上路径：

• Title：Multi-Modal Knowledge Graph Construction and Application: A Survey
• Link：https://arxiv.org/abs/2202.05786v1

知识图谱到多模态知识图谱
首先知识图谱是一个以实体、概念为节点、以概念之间的各种语义关系为边的大规模语义网络。这种带有知识的结构也被广泛应用，但是，现有知识图谱都以纯文本的形式出现，却没有真实世界的连接。比如：

• 对抽象概念的理解。一个符号“dog”应该根植于物理世界，将其和真的狗之间建立联系对理解这些抽象概念是有效的。作者同时也举例了“Hand-in-waistcoat”等词汇。
• 对特定任务的帮助。在关系提取任务中，额外的图像会以在视觉上帮助区分属性和关系，如partOf （键盘和屏幕是笔记本电脑的一部分），colorOf（香蕉通常是黄色或黄绿色，而无蓝色的）。在文本生成任务中，可以帮助生成一个信息更丰富的实体级句子(例如特朗普正在发表演讲)，而不是一个模糊的概念级描述(例如一个金发高个子男人正在发表演讲)。

因此多模态知识图谱（Multi-Modal Knowledge Graph，MMKG）被逐渐瞩目，这篇文章主要关注两个话题：