基于图神经网络的归纳矩阵补全

Inductive Matrix Completion Based on Graph Neural Networks

 

参考文献
Inductive Matrix Completion Based on Graph Neural Networks - ICLR 2020

〇、相关工作

1、Graph Neural Network

图神经网络(GNNs)是一种用于在图形上学习的新型神经网络。主要分为两种类型：Node Level GNNs和Graph Level GNNs。Nodelevel GNNs使用消息传递层在每个节点与其邻居之间迭代传递消息，以便为编码其局部子结构的每个节点提取特征向量。Graph level GNNs另外使用诸如求和之类的池化层，其将节点特征向量聚集到图表示中以实现诸如图分类/回归之类的图级任务。由于其优越的图表示学习能力，GNNs在半监督节点分类、网络嵌入、图分类和链路预测中取得了最佳性能。

2、GNN for matrix completion

Monti等人(2017)开发了一个Multi-Graph CNN(MGCNN)模型，从各自的最近邻网络中提取用户和项目的潜在特征。Berg等人(2017)提出了图卷积矩阵补全(GC-MC)，它直接将GNN应用于用户-项目二部图，利用GNN提取用户和项目的潜在特征。郑等人(2018年)的SpectralCF模型使用二部图上的Spectral-GNN来学习节点嵌入。虽然使用GNN补全矩阵，但所有这些模型仍然是转导的。MGCNN和SpectralCF需要不推广到新图的图拉普拉斯，而GC-MC使用节点ID的一次性编码作为初始节点特征，因此不能推广到未知的用户/项。最近的基于归纳图形的推荐系统PinSage(Ying等人，2018a)使用节点内容作为初始节点特征(而不是GC-MC中的一次性编码)，并成功地用于推荐Pinterest中的相关pins。尽管PinSage具有诱导性，但它严重依赖于与Pins相关的丰富视觉和文本内容，而这些内容在其他推荐任务中通常是无法访问的。

另一个相关的先前工作是(Hartford等人，2018年)，它定义了可交换矩阵层，以对矩阵执行置换等变运算，从而在不使用内容的情况下实现归纳矩阵完成。具体地说，该操作通过其自身、其行的条目、其列的条目以及矩阵的所有其他条目的加权和来更新每个矩阵条目，其中四个分量中的每一个的参数在所有条目之间共享。也可以将其视为GNN，例外情况是1)消息传递是在边上执行的(最终的边缘特征被汇集成节点特征)，以及2)所有边(包括那些未连接到中心边缘的边)在每一轮中将消息传递到中心边缘。(Hartford等人，2018年)的一个限制是它将整个评级矩阵作为输入，这可能会引起对大型矩阵的担忧。

3、Link prediction based on graph patterns

学习有监督的启发式算法(图模式)已被用于简单图中的链接预测。Zhang和Chen(2017)提出了Weisfeler-Lehman神经机(WLNM)，它使用子图邻接矩阵上的全连通神经网络来学习图的结构特征。后来，他们通过用GNN取代完全连接的神经网络来改进这项工作，并获得了最先进的链接预测结果。我们的工作将这一研究方向从简单图中的链路值预测推广到二部图中的链路值预测(即矩阵补全)。在(Chen等人，2005；周等人，2007)中，传统的链接预测启发式算法适用于二部图，对于推荐系统显示出良好的性能。我们的工作的不同之处在于，我们不使用任何预定义的启发式方法，而是使用GNN学习一般的图结构特征。另一个与我们类似的工作是(Li&Chen，2013)，其中图核被用来学习图结构特征。然而，图核需要二次时间和空间复杂度来计算和存储核矩阵，因此不适合现代推荐系统。

一、动机

1. 用于矩阵补全的矩阵分解方法本质上是转导性的（transductive）。当矩阵发生改变时，通常需要再次进行训练才能得到新的嵌入。

①为什么矩阵分解可以用于矩