【GCN-RS】Deep GCN with Hybrid Normalization for Accurate and Diverse Recommendation (DLP-KDD‘21)

memo-Deep Graph Convolutional Networks with Hybrid Normalization for Accurate and Diverse Recommendation (DLP-KDD’21)

一句话总结这篇文章就是在LR-GCCF和LightGCN的基础上，同时结合了 left normalization (给不同的邻居分配相等的归一化，PinSAGE)和 symmetric normalization （degree大的邻居分配小权重，LightCGN）。

Abstract

摘要完全概括了文章的内容：

现有的GCN RS模型在浅层就达到了最佳性能，这就没有用到高阶信号；现有的GCN模型对邻居信号聚合时，使用相同的归一化规则，要么PinSAGE那样同等重要，要么是LightGCN那样根据degree分配重要性。

但是同一套归一化规则肯定不能适配所有节点，所以提出了一个新的模型Deep Graph Convolutional Network with Hybrid Normalization (DGCN-HN)。

首先设计了一个residual connection 和 holistic connection**（LR-GCCF和LightGCN的混合版）**，以解决over-smoothing，可以训练深层GCN（8层）。

然后设计了hybrid normalization layer。通过一个简化的attention**（正常的attention没用）**实现hybrid 两种正则化。

实验结果还证明了这种做法有利于degree低的user。

Intro

又强调了一边现在的GCN RS都不深、使用了固定的归一化规则，使用相同的归一化规则会导致局部最优。

文章用一个例子解释了上述缺点：

• 浅层GCN不能利用高阶信号，给喜欢电子产品的U2推荐无人机就需要高阶信号。
• 给所有节点使用 left normalization ，流行度很高的IPhone就会严重影响U1的兴趣，U1买IPhone只是刚需，兴趣并不在电子产品，因为U1经常购买纸质文具。
• 给所有节点使用 symmetric normalization，流行度很高的IPhone就无法提供”电子产品“这一兴趣，U2和U3的兴趣就难以被刻画出来。

Model

所谓Residual就是在LightGCN的基础上加一个Residual：
h u ( l + 1 ) = ∑ v ∈ N u A ~ u v h v ( l ) + h u ( l ) , h u ( 0 ) = e u h v ( l + 1 ) = ∑ u ∈ N v A ~ v u h u ( l ) + h v ( l ) , h v ( 0 ) = e v \begin{aligned} \mathbf{h}_{u}^{(l+1)} &=\sum_{v \in N_{u}} \tilde{\mathrm{A}}_{u v} \mathbf{h}_{v}^{(l)}+\mathbf{h}_{u}^{(l)}, \quad \mathbf{h}_{u}^{(0)}=\mathbf{e}_{u} \\ \mathbf{h}_{v}^{(l+1)} &=\sum_{u \in N_{v}} \tilde{\mathrm{A}}_{v u} \mathbf{h}_{u}^{(l)}+\mathbf{h}_{v}^{(l)}, \quad \mathbf{h}_{v}^{(0)}=\mathbf{e}_{v} \end{aligned} hu(l+1)​hv(l+1)​​=v∈Nu​∑​A~uv​hv(l)​+hu(l)​,hu(0)​=eu​=u∈N