GraphCL: Graph Contrastive Learning with Augmentations笔记

已于 2022-05-03 13:20:03 修改
阅读量398 收藏
点赞数
分类专栏： 图神经网络 学习笔记 文章标签： 机器学习 深度学习
于 2022-05-02 21:32:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40248634/article/details/124547058
版权

NeurIPS 2020- Graph Contrastive Learning with Augmentations


在这里插入图片描述
https://github.com/Shen-Lab/GraphCL

使用最基础的contrastive loss 处理图graph-level的tasks, 包括self-supervised, semi-supervised graph classification,

主要贡献是提出4种不同的augmentations.
在这里插入图片描述
在这里插入图片描述

contrastive learning algorithm

使用最经典的方法
在这里插入图片描述
在这里插入图片描述

pretraining model for molecular proporty predition

本文发现不同数据集适合不同的data 增广的方式
在这里插入图片描述

weixin_40248634
关注
专栏目录
（深度学习快速入门）Graph Contrastive Learning with Augmentations(GraphCL)笔记
快乐江湖的博客
02-04 301
图结构化数据上的可推广、可转移和鲁棒表示学习仍然是当前图神经网络（GNN）面临的挑战。与为图像数据开发的卷积神经网络（CNN）不同，对于GNN来说，自监督学习和预训练的研究较少。在本文中，我们提出了一种图对比学习（GraphCL）框架，用于学习图数据的无监督表示。我们首先设计了四种类型的图增强，以整合各种先验知识。然后，我们系统地研究了各种图增强在多个数据集上的影响，在四种不同的设置下进行了研究：半监督、无监督和迁移学习以及对抗攻击。
【阅读笔记】Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations
qq_43558009的博客
08-02 1337
【阅读笔记】WSDM 2022 - Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations
论文笔记：NIPS 2020 Graph Contrastive Learning with Augmentations
qq_44015059的博客
02-17 1486
前言 本文主要提出在图对比学习大框架下的图数据增强的若干方法。 概括来说，本文提出了一种图对比学习框架来无监督的完成图表示学习，首先作者提出了基于各种先验信息的四种图数据增强方法。然后，作者分析了在四种不同的图数据增强条件下，不同组合对多个数据集的影响:半监督、无监督、迁移学习以及对抗性攻击。 作者为 GNN 的预训练提出了基于图数据增强的对比学习框架来解决图中数据异质性的挑战，本文的主要贡献如下： 作者提出了四种图数据增强的方法，并且四种方法对图数据施加一定的先验性，并对范围和模式进行参数化。 作者提出
GraphCL 开源项目教程
gitblog_00859的博客
08-22 318
GraphCL 开源项目教程 GraphCL项目地址:https://gitcode.com/gh_mirrors/gr/GraphCL 1. 项目的目录结构及介绍 GraphCL 项目的目录结构如下： GraphCL/ ├── data/ │ ├── __init__.py │ ├── data_util.py │ ├── molecule_dataset.py │ ├── m...
NIPS20： GraphCL Graph Contrastive Learning with Augmentations
qq_40926715的博客
10-18 735
试图增强，drop node, egde subgraph, feature mask
2020[NIPS] Graph Contrastive Learning with Augmentations 用于图数据增强的图对比学习
YoHu人家的博客
11-04 9265
目录AbstractIntroduction研究意义与难点贡献概念补充Method图的数据增强图对比学习GraphCLDiscussion图对比学习中数据增强扮演的角色有效图扩充的类型、范围和模式ComparsionConclusionBroader Impact Abstract ​ 对图结构化数据的通用性，可传递性和鲁棒性表示学习仍然是当前图神经网络（GNN）面临的挑战。与针对卷积神经网络（CNN）开发的图像数据不同，针对GNN的自我监督学习和预训练的探索较少。在本文中，我们提出了一种图对比学习（Gr
Graph Contrastive Learning with Augmentations
最新发布
weixin_45731480的博客
10-09 201
图结构数据的可泛化、可迁移和鲁棒的表示学习仍然是当前图神经网络（GNN）的一个挑战。与针对图像数据的卷积神经网络 (CNN) 开发的技术不同，GNN 对自监督学习和预训练的探索较少。在本文中，我们提出了一种图对比学习（GraphCL）框架，用于学习图数据的无监督表示。我们首先设计四种类型的图增强来合并各种先验。然后，我们在四种不同的设置中系统地研究图增强的各种组合对多个数据集的影响：半监督、无监督、迁移学习以及对抗性攻击。
GraphCL方法介绍（Graph Contrastive Learning with Augmentations）
qq_40671063的博客
04-12 1245
在我们的实现中，我们选择 f1 = f2 并通过数据扩充生成 ^Gi, ^Gj，而组合的各种选择导致 (4) 实例化为其他特定的对比学习算法，包括 [54, 55, 56, 21, 57, 58 , 59] 也显示在附录 F。我们想强调投影头在框架中的关键作用，它提供可学习的权重来为得分函数构建函数空间，与丢弃投影头相比达到更严格的下界（它的关键作用也在[3]中进行了经验验证）。的组合决定了我们期望的视图。负对不是明确采样的，而是从与 [53、18] 中相同的小批量中的其他 N-1 个扩充图中生成的。
【论文阅读】Graph Contrastive Learning with Adaptive Augmentation
Lereno的博客
04-19 2609
Graph Contrastive Learning with Adaptive Augmentation 用于图数据增强的图对比学习 文章目录Graph Contrastive Learning with Adaptive Augmentation用于图数据增强的图对比学习摘要1 引言二、使用步骤1.引入库2.读入数据总结 摘要 近年来，对比学习（Contrastive Learning，CL）已成为一种成功的无监督图表示学习方法。大多数图的CL方法首先对输入图进行随机增强，以获得两个图的视图，并最大化两
IJCAI 21 :Graph Debiased Contrastive Learning with Joint Representation Clustering
qq_40926715的博客
04-02 1386
文章信息 摘要 联合聚类+表征学习，基于 无偏采样 减少 对比学习中 负样本的 假阳性（即，负样本，可能和正样本有相同的类别） 介绍 假阳性问题：在负采样中的存在，导致 采样出的负样本和 正样本节点相同标签导致 被当作负样本，影响性能。 related work GAE DGI等 方法 1.对比学习 对比学习未考虑类间信息，故之后采用 伪标签 聚类来联合优化 2 DEC的框架 3.无偏采样： 在得到精确的聚类结果后，我们可以从聚类中随机选择不同于正样本聚类的负样本。这样，聚类结果可以作为监测信号，有效
GraphGAN: Graph Representation Learning with GAN
qq_45312141的博客
09-06 1655
GraphGAN: Graph Representation Learning with GAN1、Introduction2、GraphGAN Framework2.1 OptimizationDiscriminator OptimizationGenerator OptimizationGraph Softmax for Generator 1、Introduction 网络表示学习方法可以分成两个类别。 Generative model假定对于每一个顶点vcv_cvc​ ，在图中存在一个潜在的、真
阅读论文 GraphGAN: Graph Representation Learning with Generative Adversarial Nets
tomato_guo的博客
09-10 4989
1. Graph representation learning  (network embedding / graph embedding / network representation learning) tries to embed each node of a graph into a low-dimensional vector space, which preserves the ...
【无标题】Graph Contrastive Learning with Augmentations
qq_43955154的博客
04-13 890
本文贡献： 设计了四种类型的图数据增强，每种增强都对图数据有一定的先验性 提出了用于GNN预训练的图对比学习框架，以便于对于不同的图结构数据学习到稳定的表示。 系统研究旨在评估不同类型数据集上对比不同增强的性能，揭示性能的基本原理，并为特定数据集采用框架提供指导 GraphCL在半监督学习、无监督表征学习和迁移学习环境下取得
【论文阅读】Graph Contrastive Learning with Augmentations
cziun的博客
08-06 1502
图增强对比学习摘要1 引言2 相关工作3 方法3.1 图的数据增强3.2 图对比学习4 数据增强在图对比学习中的作用4.1 数据增强至关重要。增强组合好处。4.2 有效图增强的类型、范围和模式4.3 与“harder”任务不同，过于简单的对比任务没有帮助。4 与最先进的方法进行的比较 摘要 对于GNN来说，在图结构数据上的可推广、可转移和鲁棒的表示学习仍然是一个挑战。本文提出了一个用于学习图的无监督表示的图对比学习框架——GraphCL。首先，设计了四种类型的图增强器来合并各种先验。然后，我们系统地研究了不
论文阅读：Graph Contrastive Learning with Augmentations
yihanyifan的博客
06-17 1149
图结构数据上的广义、可转移和鲁棒表示学习仍然是当前图神经网络(GNNs)面临的一个挑战。与用于图像数据的卷积神经网络(CNNs)不同，对gnn的自我监督学习和预训练的探索较少。在本文中，我们提出了一个图对比学习(GraphCL)框架来学习图数据的无监督表示。首先，我们设计了四种图增广来包含各种先验。然后，我们在四种不同的设置中系统地研究了图增强的各种组合对多个数据集的影响:半监督、无监督、迁移学习以及对抗性攻击。结果表明，即使不调优扩展范围，也不使用复杂的GNN架构，我们的GraphCL框架可以产生与最先进
Graph Contrastive Learning with Adaptive Augmentation
xiaotiaobiu的博客
10-18 543
Graph Contrastive Learning with Adaptive Augmentation
Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation
记录学习历程
07-09 753
基于CL的推荐模型的典型流程是首先对用user-item二部图进行结构扰动（一定比例丢弃edge/node）的增强，然后使用graph encoder学习最大化不同增强同样之间节点表示的一致性。并发现被认为必要的图的增强，发挥的作用很小。由于旋转足够小，增强表示保留了原始表示的大部分信息，同时也保留了一些方差。因此，本文提出了简单的CL方法，作者放弃基于Dropout的图增强，根据上面的发现，作者直接向表示中添加随机噪声实现高效有效的增强。作者通过实验发现：在基于CL的推荐模型中，CL通过学习更。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值