【论文笔记_知识蒸馏_2022】Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation
通过对立知识蒸馏压缩深度图神经网络深度图神经网络(GNNs)已被证明对图结构数据的建模具有表达能力。然而，深度图模型的过度堆积的体系结构使得在移动或嵌入式系统上部署和快速测试变得困难。为了压缩过度堆积的广义神经网络，通过师生架构进行知识提炼是一种有效的技术，其中关键步骤是用预定义的距离函数来度量教师和学生网络之间的差异。然而，对各种结构的图使用相同的距离可能是不合适的，并且最佳距离公式很难确定。为了解决这些问题，我们提出了一个新的图模型的对抗性知识蒸馏框架GraphAKD，它对抗性地训练一个鉴别器和一个生
原创
2022-06-17 10:43:01 ·
772 阅读 ·
0 评论
关注
分享
扫一扫