论文探讨了一种无监督的图对比编码（GCC）模型，用于图表示学习的预训练。GCC通过对比学习区分不同图内节点的局部子图结构，学习可迁移的图结构表示。使用Graph Isomorphism Network作为编码器，通过节点的r-ego network定义实例，并在多个图上进行实验，展示其在下游任务的优秀性能。
论文笔记整理：陈名杨，浙江大学在读博士生，研究方向为知识图谱表示学习。
图表示学习是一个当前关注度较高的领域，并且有许多真实的应用。然而当前的很多图表示学习方法都是对一个领域或者某一个图训练一个模型，也就是说这些训练的模型是不能迁移到领域外新的数据。这篇文章受到在NLP领域预训练工作的启发，设计了一种无监督的图对比编码（Graph Contrastive Coding，GCC）模型，来捕获不同图之间的全局拓扑特征。这里将GCC的预训练任务设计为区分不同图内不同点的局部子图结构，并且利用对比学习（Contrastive Learning）来学习到一些固有的、可迁移的结构表示。
这里提出的GGC的整体思想是，在预训练阶段，给一些不同的图，然后在上面做一些自监督学习，预训练得到一个表示学习的模型，然后把这个模型用在一些更多没有见过的的图上对不同的任务进行微调，下面将对具体的方法及模型的设计进行介绍。
这里预训练的任务是instance discrimination，也就是将每个节点看作是一个自己的类，然后区分不同节点作为学习目标。从对比学习的视角来看待，给定一个被编码的query q，以及一个包含K个keys的字典，对比学习是要在dictionary里面找一个和query最匹配的key认为是和query同类
最低0.47元/天 解锁文章
2930
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
