GraphCL: Graph Contrastive Learning with Augmentations笔记

已于 2022-05-03 13:20:03 修改
阅读量382 收藏
点赞数
分类专栏： 图神经网络 学习笔记 文章标签： 机器学习 深度学习
于 2022-05-02 21:32:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40248634/article/details/124547058
版权

NeurIPS 2020- Graph Contrastive Learning with Augmentations


在这里插入图片描述
https://github.com/Shen-Lab/GraphCL

使用最基础的contrastive loss 处理图graph-level的tasks, 包括self-supervised, semi-supervised graph classification,

主要贡献是提出4种不同的augmentations.
在这里插入图片描述
在这里插入图片描述

contrastive learning algorithm

使用最经典的方法
在这里插入图片描述
在这里插入图片描述

pretraining model for molecular proporty predition

本文发现不同数据集适合不同的data 增广的方式
在这里插入图片描述

weixin_40248634
关注
专栏目录
（深度学习快速入门）Graph Contrastive Learning with Augmentations(GraphCL)笔记
快乐江湖的博客
02-04 262
图结构化数据上的可推广、可转移和鲁棒表示学习仍然是当前图神经网络（GNN）面临的挑战。与为图像数据开发的卷积神经网络（CNN）不同，对于GNN来说，自监督学习和预训练的研究较少。在本文中，我们提出了一种图对比学习（GraphCL）框架，用于学习图数据的无监督表示。我们首先设计了四种类型的图增强，以整合各种先验知识。然后，我们系统地研究了各种图增强在多个数据集上的影响，在四种不同的设置下进行了研究：半监督、无监督和迁移学习以及对抗攻击。
Graph Contrastive Learning with Adaptive Augmentation
欢迎订阅 -- 小源笔迹
07-09 987
对比学习在无监督图表示学习中取得了很好的效果，大部分图对比学习首先对输入图做随机增强生成两个视图然后最大化两个视图表示的一致性。其中，图上的增强方式是非常重要的部分鲜有人探索。我们认为数据增强模式应该保留图固有的属性和结构，可以使模型学到对于不重要的结点和边扰动不敏感的表示信息。但目前的方法大多采用均质的增强方法如均匀的去边，或扰动特征，只能达到次优效果。本文借助先验信息从拓扑和语义角度引入自适应的增强策略。具体来说，在拓扑角度，采用基于结点的中心性来衡量连接结构的重要性的方式设计增强模式；在特征维度，给不
论文笔记：NIPS 2020 Graph Contrastive Learning with Augmentations
qq_44015059的博客
02-17 1434
前言 本文主要提出在图对比学习大框架下的图数据增强的若干方法。 概括来说，本文提出了一种图对比学习框架来无监督的完成图表示学习，首先作者提出了基于各种先验信息的四种图数据增强方法。然后，作者分析了在四种不同的图数据增强条件下，不同组合对多个数据集的影响:半监督、无监督、迁移学习以及对抗性攻击。 作者为 GNN 的预训练提出了基于图数据增强的对比学习框架来解决图中数据异质性的挑战，本文的主要贡献如下： 作者提出了四种图数据增强的方法，并且四种方法对图数据施加一定的先验性，并对范围和模式进行参数化。 作者提出
GraphCL 开源项目教程
最新发布
gitblog_00859的博客
08-22 300
GraphCL 开源项目教程 GraphCL项目地址:https://gitcode.com/gh_mirrors/gr/GraphCL 1. 项目的目录结构及介绍 GraphCL 项目的目录结构如下： GraphCL/ ├── data/ │ ├── __init__.py │ ├── data_util.py │ ├── molecule_dataset.py │ ├── m...
NIPS20： GraphCL Graph Contrastive Learning with Augmentations
qq_40926715的博客
10-18 702
试图增强，drop node, egde subgraph, feature mask
2020[NIPS] Graph Contrastive Learning with Augmentations 用于图数据增强的图对比学习
YoHu人家的博客
11-04 9201
目录AbstractIntroduction研究意义与难点贡献概念补充Method图的数据增强图对比学习GraphCLDiscussion图对比学习中数据增强扮演的角色有效图扩充的类型、范围和模式ComparsionConclusionBroader Impact Abstract ​ 对图结构化数据的通用性，可传递性和鲁棒性表示学习仍然是当前图神经网络（GNN）面临的挑战。与针对卷积神经网络（CNN）开发的图像数据不同，针对GNN的自我监督学习和预训练的探索较少。在本文中，我们提出了一种图对比学习（Gr
Graph Contrastive Learning with Augmentations
tutoujiehegaosou的博客
12-26 1112
GraphCL的学习笔记
【阅读笔记】Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations
qq_43558009的博客
08-02 1312
【阅读笔记】WSDM 2022 - Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations
【论文阅读】Graph Contrastive Learning with Adaptive Augmentation
Lereno的博客
04-19 2532
Graph Contrastive Learning with Adaptive Augmentation 用于图数据增强的图对比学习 文章目录Graph Contrastive Learning with Adaptive Augmentation用于图数据增强的图对比学习摘要1 引言二、使用步骤1.引入库2.读入数据总结 摘要 近年来，对比学习（Contrastive Learning，CL）已成为一种成功的无监督图表示学习方法。大多数图的CL方法首先对输入图进行随机增强，以获得两个图的视图，并最大化两
IJCAI 21 :Graph Debiased Contrastive Learning with Joint Representation Clustering
qq_40926715的博客
04-02 1358
文章信息 摘要 联合聚类+表征学习，基于 无偏采样 减少 对比学习中 负样本的 假阳性（即，负样本，可能和正样本有相同的类别） 介绍 假阳性问题：在负采样中的存在，导致 采样出的负样本和 正样本节点相同标签导致 被当作负样本，影响性能。 related work GAE DGI等 方法 1.对比学习 对比学习未考虑类间信息，故之后采用 伪标签 聚类来联合优化 2 DEC的框架 3.无偏采样： 在得到精确的聚类结果后，我们可以从聚类中随机选择不同于正样本聚类的负样本。这样，聚类结果可以作为监测信号，有效
【无标题】Graph Contrastive Learning with Augmentations
qq_43955154的博客
04-13 867
本文贡献： 设计了四种类型的图数据增强，每种增强都对图数据有一定的先验性 提出了用于GNN预训练的图对比学习框架，以便于对于不同的图结构数据学习到稳定的表示。 系统研究旨在评估不同类型数据集上对比不同增强的性能，揭示性能的基本原理，并为特定数据集采用框架提供指导 GraphCL在半监督学习、无监督表征学习和迁移学习环境下取得
【论文阅读】Graph Contrastive Learning with Augmentations
cziun的博客
08-06 1455
图增强对比学习摘要1 引言2 相关工作3 方法3.1 图的数据增强3.2 图对比学习4 数据增强在图对比学习中的作用4.1 数据增强至关重要。增强组合好处。4.2 有效图增强的类型、范围和模式4.3 与“harder”任务不同，过于简单的对比任务没有帮助。4 与最先进的方法进行的比较 摘要 对于GNN来说，在图结构数据上的可推广、可转移和鲁棒的表示学习仍然是一个挑战。本文提出了一个用于学习图的无监督表示的图对比学习框架——GraphCL。首先，设计了四种类型的图增强器来合并各种先验。然后，我们系统地研究了不
论文阅读：Graph Contrastive Learning with Augmentations
yihanyifan的博客
06-17 1094
图结构数据上的广义、可转移和鲁棒表示学习仍然是当前图神经网络(GNNs)面临的一个挑战。与用于图像数据的卷积神经网络(CNNs)不同，对gnn的自我监督学习和预训练的探索较少。在本文中，我们提出了一个图对比学习(GraphCL)框架来学习图数据的无监督表示。首先，我们设计了四种图增广来包含各种先验。然后，我们在四种不同的设置中系统地研究了图增强的各种组合对多个数据集的影响:半监督、无监督、迁移学习以及对抗性攻击。结果表明，即使不调优扩展范围，也不使用复杂的GNN架构，我们的GraphCL框架可以产生与最先进
【知识图谱系列】基于Randomly Perturb的图谱预训练模型GraphCL
【AI机器学习与知识图谱】的博客
05-22 826
作者：CHEONG 公众号：AI机器学习与知识图谱 研究方向：自然语言处理与知识图谱 本文介绍基于Randomly Perturb互信息最大化的图谱预训练模型GraphCL（NIPS 2020），介绍模型核心点和模型思路，完整汇报ppt获取请关注公众号回复关键字：GraphCL 一、背景知识 图谱预训练作用：图神经网络(GNNs)已被证明是建模图结构数据的强大工具。然而，训练GNN模型通常需要大量的特定任务的标记数据，而获取这些数据往往非常昂贵。利用自监督GNN模型对未标记图谱数据进行预训练是..
GraphCL方法介绍（Graph Contrastive Learning with Augmentations）
qq_40671063的博客
04-12 1177
在我们的实现中，我们选择 f1 = f2 并通过数据扩充生成 ^Gi, ^Gj，而组合的各种选择导致 (4) 实例化为其他特定的对比学习算法，包括 [54, 55, 56, 21, 57, 58 , 59] 也显示在附录 F。我们想强调投影头在框架中的关键作用，它提供可学习的权重来为得分函数构建函数空间，与丢弃投影头相比达到更严格的下界（它的关键作用也在[3]中进行了经验验证）。的组合决定了我们期望的视图。负对不是明确采样的，而是从与 [53、18] 中相同的小批量中的其他 N-1 个扩充图中生成的。
GNN algorithms(6): GraphCL
天狼啸月1990的博客
03-13 1487
图对比学习 GCL: GCL是一种针对图数据的自监督学习算法。--》对给定的大量无标签数据，图对比算法旨在训练出一个图编辑器，即GNN，用以得到图表示向量。
【论文阅读】GraphCL：Contrastive Self-Supervised Learning of Graph Representations
cziun的博客
07-30 3242
图表示的对比自监督学习摘要1 引言2 方法2.1 背景情况2.2 GraphCL2.3 GraphCL概述3 实验 摘要 本文提出了图对比学习（GraphCL），一个以自监督方式学习节点表示的一般框架。GraphCL 通过最大化同一节点局部子图的内在特征和链接结构的两个随机扰动版本的表示之间的相似性来学习节点嵌入。我们使用GNN生成同一节点的两种表示，并利用对比学习损失来最大化它们之间的一致性。在transductive和inductive学习设置中，我们证明了我们的方法在许多节点分类基准上显著优于最新的无
GraphCL：图神经网络预训练的新星
gitblog_00005的博客
04-17 426
GraphCL：图神经网络预训练的新星 GraphCL项目地址:https://gitcode.com/gh_mirrors/gr/GraphCL 是一个基于Python的开源库，专注于研究和实现图形数据的无监督表示学习方法。它主要关注的是图神经网络（GNN）的预训练，这是深度学习在非结构化数据处理领域的一个重要进展。 技术分析 GraphCL 创新性地采用了对比学习（Contrastive L...
graph contrastive learning with augmentations
03-16
图形对比学习是一种利用数据增强技术来学习图形表示的方法。它通过将同一图形的不同版本（例如旋转、缩放、裁剪等）作为正样本对比，将不同图形的版本作为负样本对比，从而学习到更加鲁棒和泛化性能更好的图形表示。这种方法已经在计算机视觉领域取得了很好的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值