论文浅尝|GRAPH-BERT: Only Attentionis Needed for Learning Graph Representations
论文简介论文提出:当前图神经网络(GNN)的主要方法过度依赖图中的连接关系,这样造成了三大问题:(1)模型假死;(2)过度平滑;(3)难以并行计算模型假死:随着神经网络层数的不断加深,模型对于输入的数据开始不进行相应。这个问题的具体原因没在论文里看到,个人理解是由于层之间的非线性变换使得数据分布变换置导数较小的区域,从而使得梯度消失。过度平滑:由于图神经网络大多依靠聚合操作(mean,max,sum)的信息更新方式,这样随着层的不断堆叠,每个节点都会大量受到其他节点信息的影响,从而使得每个节点的em
原创
2020-10-23 20:42:04 ·
1134 阅读 ·
0 评论