【KDD2020】An Efficient Neighborhood-based Interaction Model for Recommendation on Heterogeneous Graph

论文链接： An Efficient Neighborhood-based Interaction Model for
Recommendation on Heterogeneous Graph
论文作者：来自上海交通大学

摘要

近年来出现了大量基于异构信息网络(HIN)的推荐系统，因为HIN能够描述复杂的图并包含丰富的语义。现有的方法虽然取得了性能的提高，但在实际应用中仍然面临以下问题。一方面，大多数现有的基于HIN的方法依赖于显式路径可达性来利用用户和物品之间基于路径的语义相关性，例如，基于元路径的相似性。这些方法很难使用和集成，因为路径连接是稀疏的或有噪声的，并且往往是长度不同。另一方面，其他基于图的方法旨在学习有效的异构网络表示，在预测前将节点及其邻域信息压缩成单个嵌入。这种建模中的弱耦合方式忽略了节点之间丰富的交互，这引入了一个早期总结（early summarization）问题。在本文中，我们提出了一个用于推荐的端到端的基于邻居的交互模型(NIRec)来解决上述问题。具体来说，我们首先分析了HINs中学习交互的重要性，然后提出了一种新的公式，通过元路径引导的邻域来捕获每对节点之间的交互模式。然后，为了探索元路径之间复杂的交互作用，并处理大规模网络上的学习复杂性，我们用卷积的方式构建交互作用，并使用快速傅里叶变换进行有效学习。在四种不同类型的异构图上进行的大量实验表明，NIRec的性能优于现有的技术。据我们所知，这是首次在基于HIN的推荐中提出一个有效的基于邻居的交互模型。

1 引言

近十年来，推荐系统的技术已经从单纯的基于用户-物品交互[12]的协同fjfilter发展到含有各种包含复杂和有用信息的辅助数据的深度神经网络[6,19]。
近年来，由多种类型的节点和/或链路组成的异构信息网络(HIN)作为一种融合复杂信息的强大建模方法，被成功应用于许多推荐系统任务中，称为基于HIN的推荐方法[22,24]。在图1中，我们展示了一个以HIN为特征的电影数据实例。我们可以很容易地看到HIN包含由不同类型的关系连接的多种类型的实体。为了获取丰富的语义信息，在HINs上提出了多种图表示学习方法，大致可分为以下两类。
一种是基于图的方法，如HetGNN[35]，其中对同质图上的GCN[11]等深度神经网络架构进行了扩展，以增强异构图上相邻节点的特征信息聚合。然而，这些技术通常在进行预测之前将节点及其邻域的信息压缩成单个嵌入向量[4,22]。在这种情况下，只有两个节点和一个边缘被激活，而其他节点和它们的连接被混合和中继，这引入了一个早期的总结问题[18]。另一种是基于元路径的方法。元路径是指在网络模式层连接两个对象的复合关系。它被用来捕获语义信息[13,31]。以图1中的电影数据为例，用户和项目之间的关系可以通过user -user - movie (UUM)和user -director - movie (UDM)的元路径来揭示。然而，如Shi等人[22]所述，基于元路径的方法严重依赖于显式路径可达性，当路径连接稀疏或有噪声时，可能会获得较差的性能。此外，这些方法忽略了元路径外节点的丰富结构信息，即节点的邻域信息。
基于以上分析，在设计HIN时，先进的方法并没有很好地解决，甚至可能没有意识到，基于HIN的推荐所面临的以下挑战，我们在本文中解决:

• （C1）如何解决早期总结问题? 由于图的结构复杂，规模大，很难直接进行预测。因此，我们认为相互作用的局部结构是有价值的和有用的。例如，如图1所示，系统正在基于一个HIN向用户$u_A$推荐一个用户。当我们考虑一个候选用户如$u_B$时，很自然地会考虑他们共同的电影和共同导演;也就是说，他们之间可能存在一种关系，因为他们共享同一个电影$m_B$。实际上，这是一个用户邻居之间“AND”操作的示例。此外，很容易将其扩展到联合评级。换句话说，enuatoub的邻居和ubtoua的邻居之间的共同评分表明了用户喜好的相似性，这可能有助于推荐。我们认为这种交互的局部结构是隐藏的，在以前的方法中没有得到充分利用。
• 如何设计一个端到端的框架来捕捉和聚合邻居之间的交互模式? 最近的一次尝试[13]侧重于通过连接源节点和目标节点的交互路径度量语义邻近性。然而，它忽略了隐藏在这些节点邻居中的丰富信息。HIN包含多种语义信息，由元路径[27]反映。此外，在一条路径中通常涉及不同类型的各种节点。不同的路径/节点可能对最终性能有不同的贡献。因此，除了强大的交互模块外，还需要一个设计良好的聚合模块来区分这些路径/节点的细微差别，并选择一些有用的路径/节点
• 如何高效地学习整个系统? 学习HINs上的交互式信息总是很耗时;特别是当面对不同类型和长度的路径时，基于元路径的方法[13]和基于图的方法[18]的大规模高阶信息。一种既有效又有效地学习HINs上丰富的交互式信息的方法总是被期待的。

---

为了应对这些挑战，我们提出了NIRec，一种基于邻居的交互模型，用于基于hin的推荐。首先，我们将同构图邻域的定义扩展到同构图的元路径引导邻域。然后，我们设计了一个异构的图神经网络结构，该结构由两个模块组成，用于聚合样本邻居的特征信息。第一个模块，即交互模块，构建交互邻域，捕捉“AND”操作之间的潜在信息。第二个模块为聚合模块，主要包括两个部分:(i)节点级注意机制，用于度量元路径引导的邻域内不同节点的影响;(ii)路径级注意机制，用于聚合不同邻域内的内容嵌入。最后，我们用卷积的方法来描述交互作用，并利用快速傅里叶变换(FFT)进行有效学习。总而言之，我们工作的主要贡献是：

• 我们正式化并解决了HIN上一个重要但很少被利用的早期总结问题。
• 我们提出了一种创新的基于卷积邻域的HINs推荐交互模型，称为NIRec，该模型能够捕获并聚合节点和路径级的丰富交互模式。
• 我们提出了一种结合快速傅立叶变换(FFT)的高效端到端学习算法。

我们在四个公共数据集上进行了广泛的实验。我们的结果证明了NIRec优于最先进的基线.

2 相关工作

基于异构信息网络的推荐。异构信息网络[23]作为一种新兴方向，能够自然地描述推荐系统中复杂的对象和丰富的关系。关于异构网络中学习表示的研究出现了激增，如metapath2vec [2]， HetGNN [35]， HIN2vec [4]， eoe [32];以及它们的应用，如关系推理[26]，分类推断[36]，聚类推断[20]，实体识别[1]。其中，基于HIN的推荐越来越受到学术界和工业界研究者的关注。例如，Feng和Wang[3]提出了缓解社会标签系统中包含异构信息网络的冷启动问题。在[34]的混合推荐系统中引入了基于元路径的方法。Yu et al.[33]通过利用异构信息网络中不同类型的实体关系来利用个性化推荐框架。Luo等人[14]提出了一种基于协同过滤的包含异质关系的社会推荐。在[24]中，采用双重正则化框架对用户和项目的相似性进行评估。如[22]所述，现有的基于HIN的推荐方法大多依赖于基于路径的相似度，这可能不能充分挖掘用户和商品的潜在特征。在本文中，我们引入元路径引导的邻域，并提出了一个创新的模型来捕捉隐藏在邻域中的交互模式。
图表示 图表示学习主要用于学习图顶点的潜在、低维表示，同时保留图结构，如拓扑结构和节点内容。一般来说，图表示算法可以分为两类。一种是无监督图表示算法，其目的是为学习节点表示保持图结构[5,17,21,28,30]。例如，DeepWalk[17]利用随机行走来生成节点序列并学习节点表示。Node2vec[5]进一步利用了偏置随机游走策略来捕获更灵活的上下文结构。Struc2vec[21]构造了一个多层图来编码结构相似性并为节点生成结构上下文。LINE[28]提出了一种边缘采样算法，提高了推理的有效性和效率。SDNE[30]隐含多层非线性函数，以捕获高度非线性的网络结构。另一种流派是半监督模型[10,11,29]，其中存在一些用于表示学习的标记顶点。例如，LANE[10]将标签信息合并到属性网络嵌入中，同时保留它们的相关性。GCN[11]提出了一种局部图卷积算法来提高分类任务的性能。GAT[29]采用自注意网络进行信息传播，利用多头注意机制。GCN和GAT是通用图网络的流行架构，可以看作异构图中的插件式图表示模块，如HetGNN[35]、HAN[31]和HERec[22]。在这项工作中，我们提出的不仅是在异构图上提供图表示学习技术，而且提出了一种新的有效的基于邻域的交互方法，这应该是我们的第一次认识。

4

NIRec的基本思想是设计一个基于邻居的交互模型，以增强对象的表示。NIRec利用基于推荐系统的HINs，利用元路径引导不同步长和类型邻居的选择，设计异构交互模块捕捉丰富的交互消息，设计异构聚合模块获取丰富的对象嵌入。此外，我们用统一的学习过程来表示不同类型的元路径，并将快速傅里叶变换(FFT)作为一种有效的学习
整体框架如图所示。首先，我们利用多对象HIN包含<user,item,attribute,relation>作为输入。其次，我们通过邻居采样为源节点和目标节点选择元路径引导的邻居(图2(a))。第三，我们引入交互式卷积操作来生成它们的邻域之间潜在的交互信息(图2(b))。之后，我们在节点和路径层面通过注意机制捕获关键交互并聚合信息(图2©)。最后，NIRec提供了最终预测。我们将在下面的小节中详细说明该体系结构。

4.2 邻居采样

为了生成有意义的节点序列，关键技术是设计一种有效的随机游走策略，该策略能够捕获HINs中反映的复杂语义。因此，我们提出使用元路径引导随机游走方法。

4.3 交互模块

在以前的基于HIN的推荐中，大多数方法都利用图表示技术来发现关键节点或元路径[31]，并捕获复杂的结构[35]。为了进一步挖掘交互信息，解决早期总结问题，我们提出了一个基于元路径引导邻居的交互模块。
由于节点的异质性，不同类型的节点具有不同的特征空间。因此，针对每种类型的节点(如具有ϕi型的节点)，设计了类型特征变换矩阵m - ϕ，将不同类型节点的特征映射到一个统一的特征空间中。转换过程如下所示：

考虑到到源/目标节点不同距离的邻居对最终预测的贡献不同，我们将抽样的元路径引导的邻居分为几个inter-distance和 outer-distance的邻居组。我们认为交互应该只在相应的组中使用。为了在每个邻居群体中进行交互，我们需要面对两种情况。
受信号处理[16]的启发，这种邻域划分和内群相互作用可以表述为一种统一的称为卷积的操作。粗略地说，卷积主要包括移位、积和和三种操作，反复使用，直到遇到路径的末端。

4.6 模型分析

NIRec的学习算法在附录A.1部分给出。在此，我们对提出的NIRec进行如下分析
复杂度分析：所提出的NIRec算法效率高，易于并行化。分别对交互模块和聚合模块进行了模型效率分析。

可解释性：该模型通过相邻节点之间的相似性和共同评分，对习得的交互嵌入具有良好的可解释性。此外，该模型在节点级和路径级的重要性，可以更多地关注特定任务的一些有意义的交互或元路径，并给出一个更全面的异构图描述。基于注意值，我们可以检查哪些交互或元路径对我们的任务做出了更高(或更低)的贡献，这有利于分析和解释我们的结果。

6 结论和展望

在本文中，我们介绍了“early summarization”的问题，并提出了一个基于邻居的交互增强推荐模型，即NIRec，来解决这个问题。为了保持HINs上的异质性，我们首先介绍了元路径引导邻居的定义。然后，我们精心设计了一个交互模块，通过它们的邻域来捕获每个源和目标节点对的相似性。为了融合丰富的语义信息，我们提出了节点级和路径级的注意机制，分别捕获关键交互和元路径。大量的实验结果表明，该模型在推荐有效性和可解释性方面都具有优越性。目前，我们的方法只能有效地在结构(图)方面捕获交互信息。然而，在结构(图)和非结构(节点)方面都有丰富的语义信息。未来的一个研究方向是扩展邻居交互和聚合模块，以捕获来自双方的关键消息，并适应更一般的场景。