Node Dependent Local Smoothing for Scalable Graph Learning1
动机与贡献
现有的图神经网络在信息聚合的过程中，信息聚合使用的邻居阶数对于所有的节点都是相同的。然而，由于局部结构存在着差异。如图1所示，左边的节点和右边的节点都聚合二阶的邻居信息。但是，左边的红色节点聚合二阶的邻居信息可能会导致过平滑，右边的红色节点聚合二阶的邻居信息可能会导致欠平滑。那么，如何针对每个节点找到适合的邻居阶数进行信息聚合，达到较好的学习效果。
图 1
模型与方法
首先，传统的GCN层可以由公式1表示。可以看到，若权重矩阵W和为单位矩阵，激活函数为单位函数，并且堆叠多层GCN层的话，X的特征可以表达为公式2所示。那么，过平滑的问题就和k有关。当k过大时，就会过平滑。不妨考虑极端情况，k趋于无穷大，如公式3所示。那么，最大的问题就是找到适当的k，防止过平滑。
X ( k + 1 ) = δ ( A ^ X ( k ) W ( k ) ) , A ^ = D ~ r − 1 A ~ D ~ − r (1) \mathbf{X}^{(k+1)}=\delta\left(\hat{\mathbf{A}} \mathbf{X}^{(k)} \mathbf{W}^{(k)}\right), \quad \hat{\mathbf{A}}=\widetilde{\mathbf{D}}^{r-1} \tilde{\mathbf{A}} \widetilde{\mathbf{D}}^{-r}\tag{1} X(k+1)=δ(A^X(k)W(k)),A^=D
r−1A~D
−r(1)
X ( k ) = A ^ k X (2) \mathbf{X}^{(k)}=\hat{\mathbf{A}}^{k} \mathbf{X}\tag{2} X(k)=A^kX(2)
X ( ∞ ) = A ^ ∞ X , A ^ i , j ∞ = ( d i + 1 ) r ( d j + 1 ) 1 − r 2 m + n (3) \mathbf{X}^{(\infty)}=\hat{\mathbf{A}}^{\infty} \mathbf{X}, \quad \hat{\mathbf{A}}_{i, j}^{\infty}=\frac{\left(d_{i}+1\right)^{r}\left(d_{j}+1\right)^{1-r}}{2 m+n}\tag{3} X(∞)=A^∞X,A^i,j∞=2
最低0.47元/天 解锁文章
667
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
