- 博客(4)
- 收藏
- 关注
原创 VQGRAPH:自己学习的codebook
GNN到MLP的蒸馏目标是利用知识蒸馏(KD)技术来学习在图数据上计算效率高的多层感知器(学生MLP),通过模仿教师GNN的输出表示。现有的方法主要是让MLP模仿GNN在几个类别标签上的预测。然而,类别空间可能不足以表达众多不同的局部图结构,从而限制了从GNN到MLP的知识转移性能。为了解决这个问题,我们提出学习一个新的强大的图表示空间,通过直接标记节点的多样化局部结构来进行GNN到MLP的蒸馏。具体来说,论文提出了一种VQ-VAE(Van Den Oord等人,2017年)的变体,以学习图数据上的结构感知
2024-07-19 21:36:47
1820
原创 LAD-GNN 将标签加入训练
在当今的数据科学领域,Graph Neural Networks (GNNs) 已成为处理图结构数据的强大工具。然而,传统的GNN在图分类任务中面临一个重要挑战——嵌入不对齐问题。本文将介绍一篇名为“Label Attentive Distillation for GNN-Based Graph Classification”的论文,该论文提出了一种新颖的解决方案——LAD-GNN,以显著提升图分类的性能。
2024-07-19 20:34:34
1420
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人