融合知识图谱和用户行为信息的个性化推荐算法研究

来源：《 计算机科学与应用》 ，作者程静文等

关键词: 推荐系统；知识图谱；深度神经网络

摘要：

   摘要: 针对传统协同过滤存在的稀疏性和冷启动问题，通常使用深度神经网络(DNN)构建融合知识图谱和推荐系统的推荐任务。但目前的方法未曾考虑特征间的低阶线性关系，虽可加入因子分解机(FM)，但不同的特征对模型的贡献不同，FM可能会因所有特征交互设置相同的权重而受到阻碍；DNN解决知识图谱这种具有不规则、可扩展、多重结构特性的数据结构不具普适性。针对以上问题，提出MKAFG模型，推荐部分加入具有注意力机制的FM，通过注意力网络区分不同特征交互的重要性，使FM提取到对目标预测起到重要作用的一阶、二阶线性交互特征。知识嵌入部分使用图卷积神经网络(GCN)，提高推荐系统推荐效果。实验结果表明，MKAFG在MovieLens-1M数据集上的推荐效果优于主流推荐模型。

1. 引言

推荐系统旨在解决信息爆炸问题并解决用户的个性化需求。目前使用的协同过滤推荐算法使用用户–物品交互矩阵存在稀疏性和冷启动等问题。因此，通常在推荐系统中加入辅助信息来提高推荐性能。本文将知识图谱作为辅助信息，因其包含丰富的实体和关系。目前经常使用的知识图谱包括：NELL1、DBpedia2、Google Knowledge Graph3和Microsoft Satori4。由于知识图谱高维性和异构性，使用知识图谱嵌入(Knowledge Graph Embedding, KGE)将知识图谱中的实体和关系映射到低维向量中，并保持其原有的语义和结构 [1]。

文献 [2] 提出了CKE模型，将结构化、文本、视觉等知识输入到贝叶斯框架中，但推荐部分和知识嵌入部分在贝叶斯框架下是松散耦合的 [3]，因此知识图谱对提高推荐系统的推荐效果起到的辅助性不太明显。文献 [4] 设计了基于内容的深度知识感知网络DKN，其结合了实体嵌入和文字嵌入进行新闻推荐。但其只针对文本数据，使用场景受限，也无法做到端到端的训练。文献 [5] 设计了RippleNet记忆网络的类似模型，在知识图谱中传播用户的潜在偏好，探索分级兴趣，但关系的嵌入矩阵很难捕捉关系的重要性。文献 [6] 设计了一个通用的端到端的深度推荐框架MKR，通过交叉压缩感知单元让推荐模块和知识嵌入模块进行交替学习，通过知识图谱提高推荐系统的性能。但在推荐过程中只考虑到了特征间的高阶非线性关系；在知识嵌入过程中，深度学习虽能够学习到更高效的特征与模式，但处理图数据结构不具普适性，使用深度神经网络存在一定的限制。

基于上述背景，本文的主要贡献如下：

a) 基于知识图谱的思想提出了基于注意力分解机和图卷积神经网络的知识图谱的多任务推荐模型(Multi-Task Recommendation of Knowledge Graph Based on Attention Factorization Machine and Graph Convolution Neural Network, MKAFG)；

b) 本文将加入Attention [7] 思想的因子分解机(Factorization Machines, FM)引入到深度推荐模型中，Attention机制对目标有用的特征赋予更高的权重，提取对目标预测起到重要作用的低阶线性特征交互。

c) 使用图卷积神经网络(Graph Convolutional Networks, GCN) [8] 对知识图谱进行的知识嵌入，解决深度学习模型处理图数据结构不具有普适性的问题。

2. 相关理论

2.1. 基于因子分解机的深度神经网络推荐模型

在推荐领域中，对辅助信息进行One-hot编码时，会带来数据稀疏问题，而因子分解机(FM) [9] 是一种较好的特征组合的方法来构建新特征 [10]。FM只能构建特征之间的低阶线性关系。深度神经网络具有学习复杂特征的交互潜力，使用多层感知机(MLP) [11] 实现高阶非线性的特征组合，但无法实现低阶线性特征组合。针对以上Cheng等人提出了Wide & Deep [12]，在FM的基础上引入了深度神经网络(Deep Neural Network, DNN)，加强模型的非线性能力，但Wide & Deep没有将二阶交叉特征的信息完全表征出来，造成DNN部分学习更高阶交叉信息效率低下。因此，Xiang等人提出NFM [13]，使用双向交互池结构对二阶交叉信息进行处理，使高阶交叉特征的信息能更好的被DNN学习。Guo等人提出了DeepFM [14]，FM和Deep分别进行特征间低阶线性和高阶非线性组合，提高训练效果。为了提高预测性，阿里提出了融合Attention机制的Det Interest Network，在模型嵌入层和拼接层加入Attention单元，根据特征的贡献程度调整不同的特征权重，提高预测性 [15]。

本文提出将Attention机制的FM融入到基于知识图谱的推荐算法中，将具有Attention机制的FM与DNN相结合运用到推荐模块进行推荐。

2.2. 基于知识图谱的特征表示学习

知识图谱表示学习 [16]，是知识图谱研究的重点。Mikolov等人提出了word2vec词表示学习模型，并发现词向量空间存在平移不变现象 [17]。针对上述的启发，Bordes等人提出了TransE [18] 模型，其便于计算、参数少，但TransE无法处理知识图谱复杂的实体和关系的建模。后人依次提出TransH [19]、TransR [20]。但这些模型虽然在低维空间中可以重构出原有的网络结构，但学习到的表征无法进一步学习。网络表示学习，代表有深度神经网络、卷积神经网络等。深度学习虽能够学习到更高效的特征与模式，但图数据结构，具有不规则、多重结构、可扩展性等特点，因此知识表示过程中深度神经网络存在一定的限制。

本文使用图卷积神经网络(GCN)对知识图谱进行嵌入。通过给边和节点赋予特征，不仅可以学习到知识图谱自身的关系和特征，在卷积层传播过程中，节点会接受邻居节点的信息不断更新自身的节点。

3. 方法的提出

本文提出了基于注意力分解机和图卷积神经网络的知识图谱的多任务推荐模型(Multi-Task Recommendation of Knowledge Graph Based on Attention Factorization Machine and Graph Convolution Neural Network, MKAFG)。由推荐部分、知识嵌入部分、交叉压缩感知部分组成。其中推荐部分由具有注意力机制的因子分解机(AFM)和深度神经网络(DNN)两块组成。

3.1. 问题的定义</