论文笔记整理:王琰,东南大学硕士。
来源:CIKM 2020
链接:https://doi.org/10.1145/3340531.3411947
研究背景与任务描述
为了解决推荐系统中的数据稀疏和冷启动问题,研究人员通过利用有价值的外部知识作为辅助信息,提出了基于知识图(KGs)的推荐。但是,以往大多数工作都忽略了多模态知识图谱(MMKG)中的各种数据类型(例如,文本和图像)。因此作者提出了多模态知识图谱注意力网络(MKGAT),以通过利用多模态知识来提高推荐系统的推荐效果。
多模态知识图谱表示学习有两种类型:基于特征的方法和基于实体的方法。
基于特征的方法将模态信息视为实体的辅助特征
基于实体的方法将不同类型的信息(例如文本和图像)视为结构化知识的关系三元组
主要工作:遵循基于实体的方法来构造多模式知识图,提出了多模态知识图谱注意力网络(MKGAT)
任务描述:制定基于多模态KG的推荐任务:
•输入:协同过滤知识图谱,其中包括用户-项目二部图和原始的多模态知识图谱
•输出:一种预测用户采用某项商品的概率
MKGAT model
MKGAT model由两个子模块组成: multi-modal knowledge graph embedding module 和 recommendation module.
Multi-modal knowledge graph embedding module:
知识图嵌入模块以协作知识图作为输入,利用多模态知识图谱(MKG)实体编码器和MKG注意层为每个实体学习新的实体表示。新的实体表示将汇总其邻居的信息,同时保留有关其自身的信息。然后,可以使用新的实体表示来学习知识图嵌入,以表示知识推理关系。
Multi-modal Knowledge Graph Entity Encoder