- 博客(6)
- 收藏
- 关注
RSS订阅原创 论文笔记《PROPAGATE DEEPER AND ADAPTIVE GRAPH CONVOLUTIONAL NETWORKS》
图卷积网络( Graph Convolutional Networks，GCNs )是处理图结构数据的基本架构。如何加深卷积神经网络( Convolutional Neural Networks，CNN )和Transformer等GCN以提高其性能一直是一个挑战。随着层数的增加，GCNs的性能下降，这通常归因于过度平滑，但一直存在争议。在本文中，我们消除了模型退化与过度平滑或梯度消失之间的等价性，并提出了一种系统的解决方案，即自适应深度GCN ( ADGCN )架构，这使得模型具有解决所有问题的潜力。
2023-12-05 21:17:23
67
1
原创 论文笔记《A NON-ASYMPTOTIC ANALYSIS OF OVERSMOOTHING IN GRAPH NEURAL NETWORKS》
过平滑是构建更强大的图神经网络( Graph Neural Networks，GNNs )的核心挑战。虽然先前的工作仅证明了当图卷积的数量趋于无穷时，过度平滑是不可避免的，但在本文中，我们通过非渐近分析精确地刻画了现象背后的机制。具体来说，我们在应用图卷积时区分了两种不同的效果-——一种将不同类中的节点表示同质化的不良混合效果，以及一种将相同类中的节点表示同质化的理想去噪效果。
2023-12-05 17:00:56
92
1
原创 论文笔记《Model Degradation Hinders Deep Graph Neural Networks》
在6个真实数据集上的实验结果表明，搭载AIR的GNN性能优于大多数浅层结构的GNN，这得益于较大的Dp和Dt，但时间开销也较大。P操作之间的自适应初始残差连接旨在缓解过平滑问题并以节点自适应的方式利用更深层的信息，而T操作之间的自适应跳跃连接的主要目的是缓解模型退化问题。针对深度GNNs的设计，已经有了一系列的工作。即使具有较大的Dp (也就是说,更高的平滑程度)，当Dt从1到8时，Dp = 2Dt的GCN始终具有与原始GCN ( Dp = Dt)相似的分类精度，而当Dp超过16 ( 2 × 8 )时，
2023-12-01 15:20:43
90
1
原创 杂乱无章的记录
参考论文《Bag of Tricks for Node Classification with Graph Neural Networks》想法：在GCN层内部加入残差进行特征变换，在层之间加入注意力矩阵对不同层的输出赋予权重，最后加一个激活函数进行分类。在此之前，想弄明白一个东西，GCN的tricks有哪些。想要通过一个机制，赋予不同层之间一个权重再输出。2. 将所有层得到的特征输入给注意力机制，1.将所有层得到的特征进行加和。直接使用PyG的GCNConV。加入负二阶差分以及恒等映射。
2023-11-02 22:20:33
95
1
原创 加入残差的模型
解释：在给定的代码中，最后一层没有使用残差连接是因为在残差连接的设计中，通常将残差连接应用于中间层而不是最后一层。最后一层通常是模型的输出层，它的输出直接用于任务的预测或分类。总结起来，最后一层不使用残差连接是常见的做法，因为残差连接通常应用于中间层，而最后一层的输出直接用于模型的预测或分类。目前准备向模型里加入残差连接，以缓解过平滑问题，但昨天用GPU24GB的服务器跑16层的模型，还是带不动，先不管了。在该函数中，如果使用残差，则在除第一层和最后一层外的中间层，直接在新的节点特征上加原始节点特征。
2023-10-25 15:48:18
183
1
原创 关于我跑图神经网络
根据代码中使用的PyTorch Geometric库的命名约定，`PygNodePropPredDataset`是用于节点属性预测任务的数据集类。该数据集的名称`ogbn-arxiv`指的是Open Graph Benchmark (OGB) 中的论文引用网络数据集。总之，GraphSAINTRandomWalkSampler是一种用于图数据的高效采样器，可以生成随机游走序列，用于训练图神经网络。总之，NeighborSampler是一种用于图数据的灵活邻居采样器，可以生成邻居子图，用于训练图神经网络。
2023-10-13 01:16:22
172
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人