论文浅尝 - CIKM2020 | 用于推荐系统的多模态知识图谱

论文笔记整理：王琰，东南大学硕士。

---

来源：CIKM 2020

链接：https://doi.org/10.1145/3340531.3411947

研究背景与任务描述

为了解决推荐系统中的数据稀疏和冷启动问题，研究人员通过利用有价值的外部知识作为辅助信息，提出了基于知识图（KGs）的推荐。但是，以往大多数工作都忽略了多模态知识图谱（MMKG）中的各种数据类型（例如，文本和图像）。因此作者提出了多模态知识图谱注意力网络（MKGAT），以通过利用多模态知识来提高推荐系统的推荐效果。

多模态知识图谱表示学习有两种类型：基于特征的方法和基于实体的方法。

基于特征的方法将模态信息视为实体的辅助特征

基于实体的方法将不同类型的信息（例如文本和图像）视为结构化知识的关系三元组

主要工作：遵循基于实体的方法来构造多模式知识图，提出了多模态知识图谱注意力网络（MKGAT）

任务描述：制定基于多模态KG的推荐任务：

•输入：协同过滤知识图谱，其中包括用户-项目二部图和原始的多模态知识图谱

•输出：一种预测用户采用某项商品的概率

MKGAT model

MKGAT model由两个子模块组成: multi-modal knowledge graph embedding module 和 recommendation module.

Multi-modal knowledge graph embedding module：

知识图嵌入模块以协作知识图作为输入，利用多模态知识图谱（MKG）实体编码器和MKG注意层为每个实体学习新的实体表示。新的实体表示将汇总其邻居的信息，同时保留有关其自身的信息。然后，可以使用新的实体表示来学习知识图嵌入，以表示知识推理关系。

Multi-modal Knowledge Graph Entity Encoder