GNN-scalable MLP
文章平均质量分 78
Complicated__76
master,GNN learning, contrastive learning, unspervised learning for graphs
展开
-
NeurIPS22: ChebNetII Convolutional Neural Networks on Graphs with Chebyshev Approximation, Revisited
切比雪夫net的改进,人大高瓴人工智能原创 2023-02-03 12:34:19 · 488 阅读 · 1 评论 -
NIPS 21: COLES Contrastive Laplacian Eigenmaps
拉普拉斯降维 图对比原创 2022-10-19 16:35:27 · 261 阅读 · 0 评论 -
NIPS 22: GGD Rethinking and Scaling Up Graph Contrastive Learning
DGI variant,, bce loss, Self-supervised graph learning, scalable gnn原创 2022-09-23 11:36:02 · 731 阅读 · 0 评论 -
ICLR 19 :APPNP + ICML 20 GCNII
APPNP over-smoothing . Deep GNN GCNII原创 2022-09-17 15:03:42 · 968 阅读 · 0 评论 -
KDD20: DAGNN Towards Deeper Graph Neural Networks
DAGNN attention mlp SGC原创 2022-09-16 21:32:07 · 611 阅读 · 0 评论 -
ICLR 21: SSGC SIMPLE SPECTRAL GRAPH CONVOLUTION
SSGC : SGC +APPNP原创 2022-09-14 17:19:49 · 822 阅读 · 0 评论 -
ICLR21: EGNN Dirichlet Energy Constrained Learning for Deep Graph Neural Networks
归一化拉普拉斯矩阵+ 归一化邻接矩阵通过拉普拉斯矩阵和特征矩阵的形式求得 节点与节点之间 特征的差值:谱图理论书中第一节 就有相关的定义,reyleigh 熵和 二次型的样子。实质就是拉普拉斯矩阵的性质。指出: 小的 迪利克雷能量 表明节点很相似,over-smoothing。大的 表明 over-separating,有可能相同类别的 节点都 变得很远。当层数变多,这个能量上界收敛到0.原创 2022-09-13 16:35:06 · 764 阅读 · 0 评论 -
ICLR21: GPR-GNN ADAPTIVE UNIVERSAL GENERALIZED PAGERANK GRAPH NEURAL NETWORK
看完论文觉得 可能 IPR比 PPR优, 从而作者 从 IPR-GPR进行 特征聚合, 到看到代码,是 将 APPNP的 那个 固定的 系数 采用parameter 绑定之后 进行学习, 同时 采用了 多种 Init的方式。而对于 APPNP ,作者说 γ = α(1-α)^k ,但是 code里面 计算出的这个 gamma是 和最开始 x相乘的 即就是 teleport,而不是每层的 attention。nppr(appnp的 补集, 产生的 TEMP 和 ppr产生的TEMP 各元素对应相加 =1 )原创 2022-09-13 11:56:21 · 761 阅读 · 0 评论 -
稀疏矩阵 以及 torch_sparse 整理
稀疏矩阵处理原创 2022-09-03 13:43:04 · 993 阅读 · 0 评论 -
重新梳理一些关于 PageRank + GNN
APPNP 及其 variants原创 2022-09-01 17:07:18 · 452 阅读 · 0 评论 -
ICLR22: EXACT: Scalable Graph Neural Networks Training via Extreme Activation Compression
可扩展图方向的文章, 是 通过修改 字节 存储 来进行 高效训练原创 2022-06-08 11:12:07 · 197 阅读 · 0 评论 -
ICML22:NAFS: A SIMPLE YET TOUGH-TO-BEAT BASELINE FOR GRAPH REPRESENTATION LEARNING(ICLR22转投)
文章信息pkU wentaozhang(NDLS,GAMLP)摘要提出了节点自适应特征平滑(NAFS),这是一种简单的非参数方法,在没有参数学习。NAFS首先通过特征平滑的方法提取每个节点及其不同跳跃的相邻节点的特征,然后将平滑后的特征自适应组合。此外,通过不同平滑策略提取平滑特征,可以进一步增强所构建的节点表示。我们在两种不同的应用场景下,在四个基准数据集上进行了实验。值得注意的是,具有特征集成的NAFS在这些任务上优于最先进的GNN,并减轻了大多数基于学习的GNN对应物的上述两个限制。介绍GN原创 2022-05-31 15:12:03 · 428 阅读 · 0 评论 -
ICML22:Finding Global Homophily in Graph Neural Networks When Meeting Heterophily 华师 MSRA NTU
文章信息1.摘要本文是异质图研究,写作措辞上较为易懂。异质图2020年-2021较多,本文方法1.设计不同节点间的 相似度聚合矩阵,以一种globa视角。 这个矩阵正负数,有闭合解。 2. 优化后 线性复杂度。 3. 有grouping effect亮点:1. 可扩展异质图 2. 对比了nips21的Linkx(也是采用双MLP类似LINXK),并采用了新提出的数据集 3.实验很详尽。2.介绍先介绍了graph发展,说出gcn、gat、graphsage的smoothing平滑不适合异质性。原创 2022-05-23 11:52:47 · 817 阅读 · 0 评论 -
SCR-MCR:正则项, OGB榜单--清华唐杰-- 可扩展图学习
文章信息摘要研究了一致性正则化,一种广泛采用的半监督学习方法,如何帮助提高图神经网络的性能。我们重新讨论了图神经网络的两种一致性正则化方法。一种是简单的一致性正则化(SCR),另一种是平均-教师一致性正则化(MCR)。我们将一致性正则化方法与两种最先进的gnn结合起来,并在ogbn上进行了实验。introduction许多研究论文表明,在训练中使用带有少量标记数据的未标记数据可以提高模型的性能。由于图结构的特点,图的半监督学习一直是研究的热点。在训练阶段[20,25,32,34]中使用“伪标记”来原创 2022-03-23 15:24:24 · 683 阅读 · 0 评论 -
SAGN : OGB---基于SIGN的改进
提出了结合自训练方法和标签传播的自标签增强(SLE)训练方法。添加了具有可伸缩的标签模型的基本模型。然后在几个阶段对模型进行迭代训练和增强训练集。为了生成标签模型的输入,采用基于单热编码标签量的标签向量的标签传播。发现,通过足够的传播深度,已经有效地缓解了标签泄漏。增强训练集中的硬伪标签参与了具有真标签的标签传播,将模型知识和标签信息传播到整个图中。原创 2022-03-23 14:52:00 · 2928 阅读 · 0 评论