搜索推荐炼丹笔记：融合GNN、图谱、多模态的推荐

作者：十方，公众号：炼丹笔记

说到推荐系统，就不得不面对数据稀疏和冷启动问题，怎么解决呢？美团这篇论文《Multi-Modal Knowledge Graphs for Recommender Systems》说，我们不仅要加数据，而且是各种类型的都加。很多论文提出了用知识图谱作为推荐系统的辅助信息，而忽视了文本和图像，美团这篇论文，是第一个把知识图谱，多模态，attention都用来构建推荐系统的。模型模型也很霸气，叫MKGAT。GNN，知识图谱，多模态，推荐体系统在这篇论文里应有尽有。

知识图谱与推荐系统

知识图谱也算是火了很久，也已经广泛应用于学术界，工业界。知识图谱能给推荐系统提供丰富的特征和信息，有效的缓解了数据稀疏和冷启动。然而图片和文本会对推荐效果产生重大影响。举个 ，在看一部电影前，用户倾向于看海报和影评。在选择吃什么前，都会在大众点评上浏览各种美食图片。所以美团觉得，把这些多模态数据融入知识图谱，会对推荐系统产生很大的正面影响。一个简单的多模态知识图谱如下图：

这张图，其实是很难作为推荐系统的输入的，所以往往是通过GNN等方式，学习图上每个实体的embedding，然后把和推荐上下文相关实体的embeding发送给下游辅助模型学习。学习多模态知识图谱的表达，有两种方法：

• 基于特征的方法：把多模态信息作为实体额外的信息，然而这需要数据源中每个实体都有多模态相关信息。
• 基于实体的方法：把各种多模态信息，都当作一个单独的实体，和其他实体建立联系。如上图"Toy Story" 和"电影海报"的关系是有一张图片。基于实体的方法就是分别用迁移模型和CNN等方法学习3元祖(h,r,t)的embedding，h为head，r为relation，t为tail。上图就有很多三元祖(Toy Story, has image, 海报)，(Toy St