![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自监督学习
文章平均质量分 95
Cziun
这个作者很懒,什么都没留下…
展开
-
【论文阅读】Evaluating Modules in Graph Contrastive Learning
代码链接:https://github.com/thunlp/OpenGCL目录摘要1 准备工作2 所提出的框架2.1 采样器2.2 编码器2.3 鉴别器2.4 估计器3 实验摘要图对比学习方法对比了语义上相似和不相似的样本对,以将语义编码为节点或图嵌入。然而,大多数现有的工作只进行了模型级的评估,并没有探索模块的组合空间来进行更全面和系统的研究。为了进行有效的模块级评估,我们提出了一个将GCL模型分解为四个模块的框架:一个采样器,生成锚、正样本和负样本(节点或图);一个编码器和一个读出函数,获原创 2021-08-17 22:00:15 · 274 阅读 · 0 评论 -
【论文阅读】PGCL:Prototypical Graph Contrastive Learning
目录摘要1 引言2 相关工作3 准备工作3.1 问题定义3.2 GNN3.3 图对比学习4 PGCL4.1 相关视图的聚类一致性4.2 重加权对比目标5 实验摘要之前的对比方法存在一个抽样偏差问题,即负样本很可能与正样本具有相同的语义结构,从而导致性能下降。为了减轻该抽样偏差,本文提出了一种原型图对比学习(PGCL)方法。具体来说,PGCL通过将语义相似的图聚类到同一组中来对图数据的底层语义结构进行建模,同时鼓励同一图的不同增强的聚类一致性。然后,给定一个正样本,通过从那些与正样本集群不同的集群中提取原创 2021-08-15 23:03:36 · 1822 阅读 · 1 评论 -
【论文阅读】IJCAI 2021 MERIT
Multi-Scale Contrastive Siamese Networks for Self-Supervised Graph Representation Learning摘要1 引言2 相关工作3 方法3.1 图增强3.2 跨网络对比学习3.3 跨视图对比学习3.4 模型训练4 实验摘要受图对比学习和Siamese networks(孪生神经网络)在视觉表示学习中成功的启发,本文提出了一种新的自监督方法,通过多尺度(multi-scale)对比学习增强Siamese自蒸馏来学习节点表示。具体原创 2021-08-14 17:59:05 · 1098 阅读 · 0 评论 -
【论文阅读】SUBG-CON:Sub-graph Contrast for Scalable Self-Supervised Graph Representation Learning
目录摘要1 引言2 方法2.1 基于子图的自监督表示学习2.2 基于子图采样的数据增强2.3 编码子图2.4 通过中心节点和上下文子图进行的对比学习2.5 并行化3 实验摘要由于计算和内存成本有限,现有的包含完整图数据的图神经网络无法扩展。因此,在大规模图数据中捕获丰富的信息仍然是一个巨大的挑战。对于无监督的网络嵌入方法,它们过分强调了节点的接近性,其学习到的表示几乎不能直接应用于下游的应用程序任务。近年来,新兴的自我监督学习为解决上述问题提供了一个潜在的解决方案。然而,现有的自监督工作也适用于完整的图原创 2021-08-13 22:13:34 · 959 阅读 · 0 评论 -
【论文阅读】AD-GCL:Adversarial Graph Augmentation to Improve Graph Contrastive Learning
目录摘要1 引言2 准备工作2.1 学习图表示2.2 GNNs2.3 互信息最大化3 对抗性图对比学习3.1 AD-GCL的理论动机及制定3.2 通过可学习的边缘扰动实例化AD-GCL3.2.1 可学习的Edge Dropping GDA模型TΦ(⋅)T_Φ(·)TΦ(⋅)3.2.2 参数化TΦ(⋅)T_Φ(·)TΦ(⋅)3.2.3 调整TΦ(⋅)T_Φ(·)TΦ(⋅)4 实验摘要提出了对抗性图对比学习——AD-GCL,它通过优化GCL中使用的对抗性图增强策略,使GNN在训练过程中避免捕获冗余(图原创 2021-08-13 13:48:20 · 2380 阅读 · 2 评论 -
【论文阅读】JOAO:Graph Contrastive Learning Automated
目录摘要1 引言2 准备工作3 方法3.1 JOAO:统一框架3.2 将JOAO实例化为min-max优化3.2.1 验证增强选择效果3.3 增强感知多投影头4 实验摘要本文提出了一个统一的双层优化框架 Joint Augmentation Optimization (JOAO),以在图上执行GraphCL时,自动、自适应、动态地选择数据增强方案。该通用框架被实例化为最小-最大优化。JOAO所做的增强选择大体上与以前手工调整中观察到的“最佳实践”一致:但现在是自动化的,更加灵活和通用。此外,我们提出了一原创 2021-08-11 21:47:07 · 2103 阅读 · 0 评论 -
【论文阅读】MLGCL:Multi-Level Graph Contrastive Learning
目录摘要摘要在本文中,我们提出了一个多层次图对比学习(MLGCL)框架,通过对比图的空间视图来学习图数据的鲁棒表示。具体地说,我们引入了一种新的对比视图-拓扑和特征空间视图。原始图为一阶近似结构,包含不确定性或误差,而由编码特征生成的kNN图保持了高阶近似性。因此,通过编码特征生成的kNN图不仅提供了一个互补的视图,而且更适合GNN编码器提取判别表示。此外,我们还开发了一种多层次的对比模式来同时保持图结构数据的局部相似性和语义相似性。大量实验表明,与现有的最先进的图表示学习方法相比,在7个数据集上,ML原创 2021-08-09 21:56:06 · 1138 阅读 · 0 评论 -
【论文阅读】ICLR 2020 InfoGraph
Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Information Maximization摘要1 方法1.1 问题定义1.2 InfoGraph2.3 半监督InfoGraph2 实验摘要本文研究了在无监督和半监督场景下学习整个图的表示。图级表示在各种现实应用中至关重要,如预测分子的性质和社交网络中的社区分析。传统的基于图核的方法虽然简单,对于获得图的固定长度的表示很有效,但由于手工设计原创 2021-08-08 20:24:57 · 1218 阅读 · 0 评论 -
【论文阅读】BGRL:Bootstrapped Representation Learning on Graphs
目录摘要1 引言2 Bootstrapped Graph Latents (BGRL)2.1 BGRL组件2.2 BGRL更新步骤2.2.1 更新θθθ2.2.2 更新ϕ\phiϕ2.3 完全非对比的目标2.4 图增强函数3 实验摘要目前最先进的GNN的自监督学习方法是基于对比学习的,它们严重依赖于图增强和负例。例如,在标准的PPI基准上,增加负对的数量可以提高性能,因此需要的计算和内存成本是节点数量的二次方,这样才能实现最高性能。受BYOL(一种最近引入的不需要负对的自监督学习方法)的启发,我们提出了原创 2021-08-07 22:22:21 · 3686 阅读 · 0 评论 -
【论文阅读】Graph Contrastive Learning with Augmentations
图增强对比学习摘要1 引言2 相关工作3 方法3.1 图的数据增强3.2 图对比学习4 数据增强在图对比学习中的作用4.1 数据增强至关重要。增强组合好处。4.2 有效图增强的类型、范围和模式4.3 与“harder”任务不同,过于简单的对比任务没有帮助。4 与最先进的方法进行的比较摘要对于GNN来说,在图结构数据上的可推广、可转移和鲁棒的表示学习仍然是一个挑战。本文提出了一个用于学习图的无监督表示的图对比学习框架——GraphCL。首先,设计了四种类型的图增强器来合并各种先验。然后,我们系统地研究了不原创 2021-08-06 18:45:53 · 1453 阅读 · 0 评论 -
【论文阅读】MVGRL:Contrastive Multi-View Representation Learning on Graphs
图上的对比多视图表示学习摘要摘要原创 2021-08-06 12:33:34 · 4146 阅读 · 0 评论 -
【论文阅读】GMI:Graph Representation Learning via Graphical Mutual Information Maximization
基于图形互信息最大化的图表示学习摘要1 引言2 GMI:定义和最大化2.1 FMI摘要本文研究了如何在无监督的情况下,将图结构数据中丰富的信息保存和提取到嵌入空间中。为此,我们提出了一个新的概念,图形互信息(GMI),来测量输入图和高级隐藏表示之间的相关性。GMI将传统的互信息计算的思想从向量空间推广到图域,其中从节点特征和拓扑结构这两个方面测量互信息是必不可少的。GMI展示了几个好处:它对输入图的同构变换是不变的,这是许多现有的图表示学习算法中不可避免的约束。它可以通过现有的互信息评价方法原创 2021-08-04 19:01:08 · 2482 阅读 · 1 评论 -
【论文阅读】GCA:Graph Contrastive Learning with Adaptive Augmentation
代码链接:https://github.com/CRIPAC-DIG/GCA基于自适应增强的图对比学习摘要1 引言2 相关工作3 方法3.1 准备工作3.2 对比学习框架3.3 自适应图增强3.3.1 拓扑级增强3.3.2 节点属性级增强摘要近年来,对比学习(CL)已成为一种成功的无监督图表示学习方法。大多数图CL方法首先对输入图进行随机增强,以获得两个图视图,并最大限度地提高两个视图的表示一致性。尽管图CL方法的蓬勃发展,但图增强方案的设计——CL中的一个关键组成部分——仍然很少被探索。我们认为,原创 2021-08-03 16:11:52 · 4737 阅读 · 0 评论 -
【论文阅读】GROC:Towards Robust Graph Contrastive Learning
目录摘要1 引言2 相关工作2.1 图自监督学习2.2 图的对抗性攻击和防御3 Graph Robust Contrastive Learning3.1 Background3.2 Motivation3.3 Method4 实验摘要本文研究了图上的对抗鲁棒自监督学习问题。在对比学习框架中,我们引入了一种新的方法,通过i)对抗性转换和ii)不仅移除而且插入边的转换来提高学习到的表示的对抗鲁棒性。我们在一组初步的实验中评估了学习到的表示,得到了性能优异的实验结果。我们认为,这项工作在将鲁棒性作为图对比学习原创 2021-08-02 16:34:30 · 781 阅读 · 0 评论 -
【论文阅读】GRACE:Deep Graph Contrastive Representation Learning
目录摘要摘要本文提出了一个利用节点级对比目标的无监督图表示学习框架。原创 2021-08-01 18:14:55 · 4177 阅读 · 0 评论 -
【论文阅读】HDGI:Heterogeneous Deep Graph Infomax
目录摘要1 引言2 相关工作3 定义4 HDGI方法4.1 HDGI体系结构概述4.2 基于元路径的局部表示编码4.2.1 针对特定元路径的节点表示学习4.2.2 异质图节点表示学习4.3 全局表示编码器4.4 HDGI的学习4.4.1 基于互信息的discriminator4.4.2 负样本生成器5 实验摘要HDGI使用元路径对异质图中涉及语义的结构进行建模,并利用图卷积模块和语义级注意机制来捕获单个节点的局部表示。通过最大化局部-全局互信息,HDGI有效地学习了基于异质图中不同信息的节点表示。实验原创 2021-07-31 15:34:49 · 1052 阅读 · 0 评论 -
【论文阅读】GraphCL:Contrastive Self-Supervised Learning of Graph Representations
图表示的对比自监督学习摘要1 引言2 方法2.1 背景情况2.2 GraphCL2.3 GraphCL概述3 实验摘要本文提出了图对比学习(GraphCL),一个以自监督方式学习节点表示的一般框架。GraphCL 通过最大化同一节点局部子图的内在特征和链接结构的两个随机扰动版本的表示之间的相似性来学习节点嵌入。我们使用GNN生成同一节点的两种表示,并利用对比学习损失来最大化它们之间的一致性。在transductive和inductive学习设置中,我们证明了我们的方法在许多节点分类基准上显著优于最新的无原创 2021-07-30 17:14:17 · 3216 阅读 · 1 评论 -
对比学习(contrastive learning)
什么是自监督学习?举个通俗的例子:即使不记得物体究竟是什么样子,我们也可以在野外识别物体。我们通过记住高阶特征并忽略微观层面的细节来做到这一点。那么,现在的问题是,我们能否构建不关注像素级细节,只编码足以区分不同对象的高阶特征的表示学习算法?通过对比学习,研究人员正试图解决这个问题。什么是对比学习?对比学习是一种自监督学习方法,用于在没有标签的情况下,通过让模型学习哪些数据点相似或不同来学习数据集的一般特征。让我们从一个简单的例子开始。想象一下,你是一个试图理解世界的新生婴儿。在家里,假设你有两只原创 2021-07-28 00:31:24 · 107016 阅读 · 13 评论