论文解读（IGSD）《Iterative Graph Self-Distillation》

🚀 优质资源分享 🚀

学习路线指引（点击解锁）	知识定位	人群定位
🧡 Python实战微信订餐小程序 🧡	进阶级	本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。
💛Python量化交易实战💛	入门级	手把手带你打造一个易扩展、更安全、效率更高的量化交易系统

论文信息

论文标题：Iterative Graph Self-Distillation论文作者：Hanlin Zhang, Shuai Lin, Weiyang Liu, Pan Zhou, Jian Tang, Xiaodan Liang, Eric P. Xing论文来源：2021, ICLR论文地址：download 论文代码：download

1 Introduction

创新点：图级对比。

2 Method

整体框架如下：

2.1 Iterative Graph Self-Distillation Framework

在 IGSD 中，引入了一个结构相似的两个网络，由 encoder fθfθf_{\theta}、projector  gθgθg_{\theta}  和 predictor  hθhθh_{\theta} 组成。我们将教师网络和学生网络的组成部分分别表示为 fθ′fθ′f_{\theta^{{\prime}}、gθ′gθ′g_{\theta}{\prime}}  和 fθfθf_{\theta}、gθgθg_{\theta}、hθhθh_{\theta}

IGSD 过程描述如下：

• • 首先对原始输入图 GjGjG_{j} 进行扩充，以获得增广视图 G′jGj′G_{j}^{\prime}。然后将 G′jGj′G_{j}^{\prime} 和不同的图实例 GiGiG_{i} 分别输入到两个编码器 fθfθf_{\theta}、fθ′fθ′f_{\theta^{\prime}} 中，用于提取图表示 h,h′=fθ(Gi),fθ′(G′j)h,h′=fθ(Gi),fθ′(Gj′)\boldsymbol{h}, \boldsymbol{h}^{\prime}=f_{\theta}\lef