#今日论文推荐#从特征融合的视角设计图神经网络的拓扑结构

最新推荐文章于 2024-01-16 08:15:00 发布

wwwsxn

最新推荐文章于 2024-01-16 08:15:00 发布

阅读量134

点赞数

分类专栏：深度学习文章标签： transformer 深度学习计算机视觉

原文链接：https://www.aminer.cn/research_report/6275d7337cb68b460fb1e5de?download=false

版权

深度学习专栏收录该内容

716 篇文章 30 订阅

订阅专栏

#今日论文推荐#从特征融合的视角设计图神经网络的拓扑结构

近年来 GNN（Graph Neural Network）成为工业界和学术界非常热门的一个研究方向。GNN 设计中有两个重要维度需要考虑，即 aggregation operation 设计和拓扑结构（topology）设计。目前大家多关注在前者上，对于后者，通常采用堆叠的方式，即一个 GNN 通常由 aggregation operation 堆叠而成，通过这样的方式 GNN 可以触及更高阶的邻居节点，进而获得 higher-level 的特征。但是随着模型层数加深，很容易出现 over-smoothing 的问题，即相连节点的特征可区分性降低，模型效果下降。
一部分方案通过增加 skip-connection 的方式来改善这一点。除了堆叠方式之外，仍有部分方案尝试用多分支的形式来构建 GNN，这类方案能够充分挖掘 local neighbor 的信息，但是因其每层中聚合操作过多，在获取 higher-level 特征上需要更多的计算资源。因此，在设计图神经网络的拓扑结构时一个重要的目标便是整合这两类方案并扬长避短。但是如今并没有图神经网络拓扑结构设计的系统性方案。一般来说，一个神经网络的设计结构可以用 computational graph 来表示，如下图所示，其中节点代表了操作，有向边把这些操作相连构成了神经网络的拓扑结构。在 GNN 中，这些边可以解释为对于不同阶特征的使用。除此之外，和 CNN 中不同，GNN 中会引入各类 fusion strategy，通过整合这些不同阶的信息来提升模型性能 [1][2][4]，即现有的图神经网络拓扑结构之间的差异是由特征选择和特征融合方案导致的。

论文题目：Designing the Topology of Graph Neural Networks: A Novel Feature Fusion Perspective
详细解读：https://www.aminer.cn/research_report/6275d7337cb68b460fb1e5de?download=falsehttps://www.aminer.cn/research_report/6275d7337cb68b460fb1e5de?download=false
AMiner链接：https://www.aminer.cn/?f=cs