cziun的博客

目录摘要1 引言2 GCC2.1 GNN预训练问题2.2 GCC预训练2.2.1 设计子图实例2.2.2 定义类似/不类似的实例2.2.3 定义图编码器2.3 GCC微调3 实验摘要关于图表示学习的现有技术侧重于特定领域的问题，并为每个图数据集训练专用模型，该模型通常不可转移到域外数据。受自然语言处理和计算机视觉中预训练最新进展的启发，我们设计了图对比编码（GCC）——一种自监督图神经网络预训练框架，用于捕获跨多个网络的通用网络拓扑特性。我们将GCC的预训练任务设计为网络内和网络间的子图实例鉴别，并

代码链接：https://github.com/thunlp/OpenGCL目录摘要1 准备工作2 所提出的框架2.1 采样器2.2 编码器2.3 鉴别器2.4 估计器3 实验摘要图对比学习方法对比了语义上相似和不相似的样本对，以将语义编码为节点或图嵌入。然而，大多数现有的工作只进行了模型级的评估，并没有探索模块的组合空间来进行更全面和系统的研究。为了进行有效的模块级评估，我们提出了一个将GCL模型分解为四个模块的框架：一个采样器，生成锚、正样本和负样本(节点或图)；一个编码器和一个读出函数，获

目录摘要1 引言2 相关工作3 准备工作3.1 问题定义3.2 GNN3.3 图对比学习4 PGCL4.1 相关视图的聚类一致性4.2 重加权对比目标5 实验摘要之前的对比方法存在一个抽样偏差问题，即负样本很可能与正样本具有相同的语义结构，从而导致性能下降。为了减轻该抽样偏差，本文提出了一种原型图对比学习(PGCL)方法。具体来说，PGCL通过将语义相似的图聚类到同一组中来对图数据的底层语义结构进行建模，同时鼓励同一图的不同增强的聚类一致性。然后，给定一个正样本，通过从那些与正样本集群不同的集群中提取

Multi-Scale Contrastive Siamese Networks for Self-Supervised Graph Representation Learning摘要1 引言2 相关工作3 方法3.1 图增强3.2 跨网络对比学习3.3 跨视图对比学习3.4 模型训练4 实验摘要受图对比学习和Siamese networks(孪生神经网络)在视觉表示学习中成功的启发，本文提出了一种新的自监督方法，通过多尺度(multi-scale)对比学习增强Siamese自蒸馏来学习节点表示。具体

目录摘要1 引言2 方法2.1 基于子图的自监督表示学习2.2 基于子图采样的数据增强2.3 编码子图2.4 通过中心节点和上下文子图进行的对比学习2.5 并行化3 实验摘要由于计算和内存成本有限，现有的包含完整图数据的图神经网络无法扩展。因此，在大规模图数据中捕获丰富的信息仍然是一个巨大的挑战。对于无监督的网络嵌入方法，它们过分强调了节点的接近性，其学习到的表示几乎不能直接应用于下游的应用程序任务。近年来，新兴的自我监督学习为解决上述问题提供了一个潜在的解决方案。然而，现有的自监督工作也适用于完整的图

目录摘要1 引言2 准备工作2.1 学习图表示2.2 GNNs2.3 互信息最大化3 对抗性图对比学习3.1 AD-GCL的理论动机及制定3.2 通过可学习的边缘扰动实例化AD-GCL3.2.1 可学习的Edge Dropping GDA模型TΦ(⋅)T_Φ(·)TΦ​(⋅)3.2.2 参数化TΦ(⋅)T_Φ(·)TΦ​(⋅)3.2.3 调整TΦ(⋅)T_Φ(·)TΦ​(⋅)4 实验摘要提出了对抗性图对比学习——AD-GCL，它通过优化GCL中使用的对抗性图增强策略，使GNN在训练过程中避免捕获冗余(图

目录摘要1 引言2 准备工作3 方法3.1 JOAO：统一框架3.2 将JOAO实例化为min-max优化3.2.1 验证增强选择效果3.3 增强感知多投影头4 实验摘要本文提出了一个统一的双层优化框架 Joint Augmentation Optimization (JOAO)，以在图上执行GraphCL时，自动、自适应、动态地选择数据增强方案。该通用框架被实例化为最小-最大优化。JOAO所做的增强选择大体上与以前手工调整中观察到的“最佳实践”一致：但现在是自动化的，更加灵活和通用。此外，我们提出了一

目录摘要摘要在本文中，我们提出了一个多层次图对比学习(MLGCL)框架，通过对比图的空间视图来学习图数据的鲁棒表示。具体地说，我们引入了一种新的对比视图-拓扑和特征空间视图。原始图为一阶近似结构，包含不确定性或误差，而由编码特征生成的kNN图保持了高阶近似性。因此，通过编码特征生成的kNN图不仅提供了一个互补的视图，而且更适合GNN编码器提取判别表示。此外，我们还开发了一种多层次的对比模式来同时保持图结构数据的局部相似性和语义相似性。大量实验表明，与现有的最先进的图表示学习方法相比，在7个数据集上，ML

Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Information Maximization摘要1 方法1.1 问题定义1.2 InfoGraph2.3 半监督InfoGraph2 实验摘要本文研究了在无监督和半监督场景下学习整个图的表示。图级表示在各种现实应用中至关重要，如预测分子的性质和社交网络中的社区分析。传统的基于图核的方法虽然简单，对于获得图的固定长度的表示很有效，但由于手工设计

图增强对比学习摘要1 引言2 相关工作3 方法3.1 图的数据增强3.2 图对比学习4 数据增强在图对比学习中的作用4.1 数据增强至关重要。增强组合好处。4.2 有效图增强的类型、范围和模式4.3 与“harder”任务不同，过于简单的对比任务没有帮助。4 与最先进的方法进行的比较摘要对于GNN来说，在图结构数据上的可推广、可转移和鲁棒的表示学习仍然是一个挑战。本文提出了一个用于学习图的无监督表示的图对比学习框架——GraphCL。首先，设计了四种类型的图增强器来合并各种先验。然后，我们系统地研究了不

图上的对比多视图表示学习摘要摘要

基于图形互信息最大化的图表示学习摘要1 引言2 GMI：定义和最大化2.1 FMI摘要本文研究了如何在无监督的情况下，将图结构数据中丰富的信息保存和提取到嵌入空间中。为此，我们提出了一个新的概念，图形互信息(GMI)，来测量输入图和高级隐藏表示之间的相关性。GMI将传统的互信息计算的思想从向量空间推广到图域，其中从节点特征和拓扑结构这两个方面测量互信息是必不可少的。GMI展示了几个好处：它对输入图的同构变换是不变的，这是许多现有的图表示学习算法中不可避免的约束。它可以通过现有的互信息评价方法

代码链接：https://github.com/CRIPAC-DIG/GCA基于自适应增强的图对比学习摘要1 引言2 相关工作3 方法3.1 准备工作3.2 对比学习框架3.3 自适应图增强3.3.1 拓扑级增强3.3.2 节点属性级增强摘要近年来，对比学习（CL）已成为一种成功的无监督图表示学习方法。大多数图CL方法首先对输入图进行随机增强，以获得两个图视图，并最大限度地提高两个视图的表示一致性。尽管图CL方法的蓬勃发展，但图增强方案的设计——CL中的一个关键组成部分——仍然很少被探索。我们认为，

目录摘要1 引言2 相关工作2.1 图自监督学习2.2 图的对抗性攻击和防御3 Graph Robust Contrastive Learning3.1 Background3.2 Motivation3.3 Method4 实验摘要本文研究了图上的对抗鲁棒自监督学习问题。在对比学习框架中，我们引入了一种新的方法，通过i）对抗性转换和ii）不仅移除而且插入边的转换来提高学习到的表示的对抗鲁棒性。我们在一组初步的实验中评估了学习到的表示，得到了性能优异的实验结果。我们认为，这项工作在将鲁棒性作为图对比学习

目录摘要摘要本文提出了一个利用节点级对比目标的无监督图表示学习框架。

图表示的对比自监督学习摘要1 引言2 方法2.1 背景情况2.2 GraphCL2.3 GraphCL概述3 实验摘要本文提出了图对比学习（GraphCL），一个以自监督方式学习节点表示的一般框架。GraphCL 通过最大化同一节点局部子图的内在特征和链接结构的两个随机扰动版本的表示之间的相似性来学习节点嵌入。我们使用GNN生成同一节点的两种表示，并利用对比学习损失来最大化它们之间的一致性。在transductive和inductive学习设置中，我们证明了我们的方法在许多节点分类基准上显著优于最新的无