【论文翻译|KDD19】IntentGC:一种融合异构信息用于推荐的可扩展图卷积框架

论文题目：IntentGC: a Scalable Graph Convolution Framework Fusing
Heterogeneous Information for Recommendation
论文作者：

摘要

网络嵌入的显著进展导致了推荐的最先进算法。然而，网站上用户-物品交互的稀缺性(即，明确的偏好)仍然是预测用户行为的一大挑战。虽然在利用一些辅助信息(如用户之间的社会关系)来解决该问题方面已经做了一些研究，但现有的丰富的异构辅助关系还没有被充分利用。此外，以往的工作依赖于线性组合正则化器，并存在参数调优问题。
在本文中，我们从常见的用户行为和商品信息中收集了丰富的关系，并提出了一个新的框架IntentGC，通过图卷积网络来利用显性偏好和异构关系。除了具有建模异质性的能力，IntentGC还可以通过神经模型非线性地自动学习不同关系的重要性。为了将IntentGC应用到webscale应用中，通过避免不必要的功能交互，我们设计了一个更快的图卷积模型，命名为IntentNet。在两个大规模的真实数据集和阿里巴巴的在线a / btesta上的经验实验证明了我们的方法优于最先进的算法。

1 引言

随着网络信息量的不断增长，推荐系统已经成为各种网站(如Amazon, Youtube, Alibaba)帮助用户发现感兴趣的产品或内容的有效关键解决方案。由于近年来深度学习和网络嵌入的成功，这些推荐系统的算法通常基于这样一种想法，即用户偏好或物品语义可以通过神经模型以低维表示的形式学习，反过来，通过在低维空间中搜索最近的嵌入，可以用于推荐。
在网站可以获得的不同信息中，用户与物品的互动(点击等)是最常见和最明确的用户偏好指标。许多算法已经被提出，利用这些显式行为来预测用户的偏好项目[12,21]。然而，一个主要的缺点是，这些显式的偏好非常稀疏，这严重限制了模型的推荐能力。另一方面，通常有丰富的辅助关系隐含了用户偏好和商品语义，这有助于克服稀疏性问题。一些研究已经探索了这种辅助关系，并证明了它们的有效性[6,7,20]。Wang等人提出了一种跨域解决方案，该解决方案从社会域保护用户-用户社会关系，从内容域保护用户-项目关系。[20]的作者在同质图中建模了项目，并采用了DeepWalk方法来保持项目的共现(在同一会话中单击)。这些辅助关系广泛存在，可用于提高推荐的性能。
然而，我们发现，之前的所有工作都只捕获了模型中用户的一种辅助信息和/或项目的一种类型信息(见图1)，而忽略了图中大量额外的异构关系。我们可以看到，除了用户对商品的显式交互外，还有丰富的辅助信息，如用户提交的查询词、访问过的店铺、喜欢的品牌和物业等。这些辅助关系在获取更多语义和相关性方面可能很有用。例如，查询词中包含用户需求的内容信息，可以有效地将兴趣相似的用户链接起来，查找内容相似的商品。同样的，品牌会将时尚品味相似的用户联系起来，并提供内容相似的补充信息。然而，这些异质辅助关系在推荐中并没有得到充分考虑。在这项工作中，我们关注的是研究一个统一的框架，以捕获显性偏好和所有异质辅助关系的用户和项目。

为此，我们对图卷积网络(GCN)进行了扩展。GCN的核心思想是在图结构数据上推广卷积神经网络[11,13]，它具有内容传播能力和高水平的表达能力，在节点分类任务中取得了巨大的成功。最近，Pinterest的研究人员采用了graphsage (state-of-the- tgcnmodel)在一个项目图上推荐相关项目[22]。然而，他们的问题和解决方案与我们的工作本质上是不同的，原因是:

• 他们的模型只考虑商品信息，而忽略了用户和辅助对象。
• 为了扩大规模，GraphSage需要对许多物品的聚类缩微图进行抽样，以实现嵌入重用。然而，由于上面提到的稀疏性问题，很难找到这样既包含用户又包含项目的聚类迷你图。极有可能的是，最小化采样算法最终会得到一个非常大的子图(甚至是整个图)。因此，GraphSage的思想不适合我们上下文中的大规模用户项目图。
• 他们的方法是针对同构网络提出的，而本文研究的用户-项目图是异构的。

---

在本文中，我们提出了一种新的基于GCN的大规模推荐框架IntentGC，该框架通过图卷积来捕获显式用户偏好和辅助信息的异构关系。IntentGC主要有三个创新点:

• 充分利用辅助信息:我们捕获大量异构关系，以提高推荐的性能。为了便于建模和提高鲁棒性，我们将一阶邻近的辅助关系转换为二阶邻近的更鲁棒的加权关系。例如，ifuser1submitsaqueryword“Spiderman”，我们认为在user1和“Spiderman”之间存在联系(一级接近)。如果user1和user2都提交了查询词“蜘蛛侠”、“钢铁侠”、“雷神”，我们认为user1和user2之间有更牢固的关系(二级接近)，因为他们可能是漫威电影的粉丝。不同类型的辅助对象可以产生二阶邻近的异质关系。IntentGC自动确定训练中不同类型关系的权重。我们发现这些异质关系在实践中是有用的和互补的，并可以显著提高性能。
• 更快的图卷积:为了消除大规模图的聚类迷你图训练的限制，我们提出了一种新的卷积网络，名为IntentNet，它不仅更高效，而且比GraphSage更有效。IntentNet采用了更快的图卷积机制。IntentNet的核心思想是通过将图卷积的功能划分为两个分量:用于邻域特征传播的矢量卷积分量和用于节点特征交互的全连通网络分量，来避免不必要的特征交互。得益于这种机制，我们部署了一个分布式架构来进行简单的迷你批处理训练(抽样节点)。
• 异构网络中的双图卷积:为了保持用户和项目的异构性，我们设计了一个用于网络表示学习的双图卷积模型。首先，我们利用了两个独立的IntentNets，它们分别在用户节点和项目节点上运行。通过各自IntentNet中的全连接网络进行非线性投影后，所获得的用户和项目被视为一个公共空间。然后，通过明确偏好指导的训练，可以评估用户和空间中的物品之间的相关性。

值得注意的是，不像之前的工作那样用一个带正则化器的目标函数捕获辅助关系，那种方法是线性的，并严重依赖于手工参数调整。该方法可以通过非线性神经网络自动学习不同辅助关系的重要性。我们注意到辅助信息也可以设计为节点输入特征。然而，由于复杂的神经网络投影，共享某些输入特征的节点在高级嵌入空间中并不接近。通过将辅助信息进一步建模为翻译后的关联图中的关系，IntentGC可以直接从节点关系中学习，从而显著提高性能。实验也证实了这一点。

本文的主要贡献如下:1)我们提出了IntentGC，一个有效和高效的图卷积框架。据我们所知，这是第一次在一个统一的推荐框架中建模明确的偏好和异质关系。2)我们设计了一种新的图卷积网络，名为IntentNet，具有更快的图卷积机制。其MRR提高了22.1%，运行时间缩短了75.6%。3)我们在两个大规模数据集上进行了大量的线下实验，并在阿里巴巴部署了一个在线系统，进行了生产A/B测试。在离线评估中，我们提高了95.1%的MRR，在在线A/B测试中，与最佳基线相比，IntentGC显示了65.4%的点击率(CTR)提高。

2 相关工作

2.1 网络嵌入

网络嵌入的目的是在低维空间中表示图节点，在低维空间中保持网络的结构和性质。它可以使包括推荐在内的各种任务受益。已经提出了许多有效的嵌入方法，我们在这里简要回顾一下其中的一些方法。读者可以参考[4,9]进行全面的调查。DeepWalk[15]在节点上部署截断的随机行走，通过将游走视为句子的等价物来学习潜在表示。SDNE[19]利用了一阶邻近和二阶邻近的联合方法来捕获局部和全局网络结构。DVNE[25]学习了每个节点在Wasserstein空间中的高斯分布，以保留更多的性质，如传递性和不确定性。
虽然在同质网络中进行了大量的表示学习工作，但实际应用中的图更有可能是异构信息网络(HINs)。为了利用HINs中丰富的信息，一些算法也被提出来处理异质性[3,5,16,24]。Metapath2vec++利用了基于元路径的随机行走，根据人类的专业知识[5]最大化偏差转移概率。HEER通过额外的边缘表示嵌入HINs，以弥合异构节点[16]之间的语义鸿沟。尽管这些方法可以应用于一般的HINs，但它们在模型中以同等的重要性对待每种类型的关系，这对促进推荐系统并不合适，因为用户-项目关系是主要的预测目标。目前，利用异质性信息强化推荐绩效的研究还很少。

2.2 图卷积网络

近年来，卷积神经网络在图结构数据上的应用受到了越来越多的关注[2,11,13,18]。Bruna等人通过计算图Laplacian[2]的特征分解定义了傅里叶域的卷积运算。为了降低卷积的复杂度，Kipf和Welling通过在图[13]上对局域光谱滤波器进行一阶近似，简化了之前的方法，提出了GCN模型。具体来说，他们将每个节点的卷积运算视为所有相邻特征向量的均值聚合，并通过一个完全连通层和一个非线性激活函数进行变换。然而，在他们的模型中，中心节点和邻居节点的表示是按相同的权重聚合的，并且是不可训练的。最近，Hamilton等人提出了GraphSage，它以归纳的方式进一步扩展了GCN方法[11]。该技术采样每个节点的一个固定大小的邻域，以避免对整个图进行拉普拉斯运算。他们还改进了GCN，将每个节点的表示与聚合的邻域向量连接起来，用于学习交互权值。虽然GCN取得了显著的进展，但以往的研究工作主要集中在同构图上。在本文中，我们提出了一种新的算法，将GCN扩展到异构信息网络，显著提高了推荐的有效性和效率。

2.3 推荐

最近，基于深度学习的算法在推荐文献[23]中取得了显著的成功。基于模型中是否捕获用户信息，主要有两种方法:1)商品-商品推荐和2)用户-商品推荐。项目-项目推荐的动机是为了在用户的历史交互项目中找到相似的项目。在这一行中，Wang和Huang等人[20]采用了带有边信息的DeepWalk方法来获得项目图上的向量表示。Ying等人[22]提出了一种基于随机游走的GraphSage算法(简称PinSage)。
与上述工作不同的是，我们的方法属于useritem推荐组[12,14,21]。这组方法的目的是直接预测用户喜欢的商品，这通常与用户的满意度更相关，但由于稀疏性问题，也更具有挑战性。为了缓解稀疏性的问题，一些作品尝试利用额外的辅助关系。例如，Gao et al.[7]设计了一种有偏随机游走方法，利用从用户-用户二部图中推导出的用户-用户和项-项关系。Wang et al.[6]在一个跨领域的环境中整合了社会关系。然而，现有的方法只考虑用户和/或项目的一种辅助关系，而忽略了图上丰富的异构辅助关系。此外，以前的方法通常通过正则化器捕获辅助关系，这限制了模型的能力，并且严重依赖手工参数调优。在本工作中，我们提出了一个新的框架IntentGC来利用显式首选项和丰富的异构辅助关系集。它可以通过图卷积自动确定各种辅助关系的重要性。

4 方法

在本节中，我们提出了一个新的HIN上的用户-项目推荐框架。我们的方法有三个关键特点:1)网络翻译，将原始图翻译成一种特殊的HIN;ii)更快的卷积网络，利用矢量卷积进行缩放，在最优意义上综合异构关系;iii) 双图卷积，学习用户和项目在翻译的HIN上的表示。最后，总结了我们的解决方案的框架。

4.1 网络翻译

图2所示的异构节点和关系不仅为我们提供了丰富的信息，而且还提供了不兼容的语义和更多的挑战。虽然使用特定类型的流形来建模每一种类型的边是可能的解决方案[16]，但在处理许多类型的节点和边时，对于大数据来说，高复杂性和计算成本是不可行的。幸运的是，在推荐中我们只关心用户和项目的表示。基于此，我们采用类似[7,24]的方法，将原始辅助关系转换为用户-用户关系或项目-项目关系。直观上，如果users u1和u2在Vr中都有一个辅助节点连接(r > 2)，那么u1和u2之间也存在间接关系。在本文中，我们利用二阶接近度[9]来捕捉两个用户(或物品)之间的相似性，这是由他们共享的相同类型的公共辅助邻居的数量来衡量的。通过这种方式，我们可以将辅助节点带来的语义信息编码为一组异构的用户-用户关系和/或项-项关系，并相应地翻译HIN。其他生成方法，如基于元路径的随机行走，也适用于网络翻译，但我们的方法带来了健壮的邻居和简单的实现。
为了清晰和便于推导，我们首先考虑这种情况，即我们只有一种辅助接点

我们将翻译后的图G称为用户-项目HIN。那么问题就变成了预测

4.2更快的卷积操作：IntentNet

动机：GCNs的核心思想是通过局部滤波器对邻近区域的特征信息进行迭代聚合。然而，它的一个主要缺点是计算的高度复杂性。例如，一个仅包含10个邻居的3层GCN对于图中的每个顶点有100多个卷积操作，对于web规模的应用程序来说，这是不可接受的，因为整个图通常有数亿个节点。在以前的工作中，一种常见的放大方法是使用一种小型子图抽样策略，就像[22]中所做的那样。他们开发了一种生产者-消费者分散的训练方法。在每次迭代中，它按生产者对一个聚类子图M进行采样，并对M进行正向传播，得到消费者对所有节点的表示。在项-项图上以宽度优先搜索的方式生成聚类子图。这样，对于每个在更新过程中重用嵌入向量的采样子图，只执行一次GCN(所有的训练对都应该包含在子图中)。然而，对于用户项目HIN，很难生成这样的聚类子图来重用表示。这是因为用户-项目首选项链接非常稀少。如果我们遵循生产者的抽样方法，我们会得到一个非常大的子图，甚至整个图。因此，为了在大规模图上应用我们的方法，我们设计了一个更快的卷积操作，允许普通节点采样。

vector-wise图卷积：为了清晰起见，我们首先只考虑一种辅助关系，然后扩展我们的方法来处理异类关系。由于用户节点和项目节点在g上是对称的，所以我们只用用户节点来说明。图卷积的一层包含两部分:1)聚合函数和2)卷积函数。聚合层是汇聚邻居特征信息的池化层，可以表示为:

然而，我们观察到没有必要学习连接向量中每一对特征之间的所有特征交互。 在表示学习过程中，卷积运算主要有两个任务:一是学习自节点与其邻域之间的相互作用，这决定了邻域如何促进结果;另一种方法是学习嵌入空间不同维度之间的相互作用，自动提取有用的组合特征。

IntentNet 利用所提出的卷积操作，我们可以建立堆叠的卷积层，形成一个网络，这是非常高效的，能够从邻居传播学习有用的交互。然而，这只完成了一个图卷积的任务，所以我们进一步通过三个额外的全连接层提供最后一个卷积层的输出表示，以学习嵌入空间不同维度之间的特征交互。我们把这种方法命名为IntentNet，其核心思想是将图的卷积工作划分为两个部分:学习邻域效用的vector-wise卷积和提取节点级组合特征的全连接层。在实践中，IntentGC不仅比传统GCNs更高效，而且在性能上也更有效。一个可能的原因是IntentGC可以避免无用的功能交互，并且对过拟合更健壮。

复杂性 通常，我们用m表示不同层的表示向量的大小，因为它们在数量级上是相似的。首先，我们分析了卷积运算的复杂性。

4.3 HIN上的双图卷积

为了解决用户和产品之间的异构性，我们提出了一个双图卷积模型来学习它们的嵌入。

4.4

IntentGC框架有三个主要组成部分:1)网络翻译，2)训练，3)推理。我们提供更多详情如下:

6 结论

在本文中，我们提出了第一个框架来捕获推荐中的异构辅助关系。实证实验表明，这些异质关系在预测用户偏好和相互补充方面具有实际意义。在我们的框架中，我们设计了一个用于十亿级应用的快速图卷积网络。实验结果表明该方法避免了不必要的特征交互，具有较好的有效性和效率。
在今后的工作中，值得将我们的方法和思想扩展到其他任务，如信息检索。此外，研究动态图形卷积模型来强调实时用户行为和兴趣漂移也是有意义的。