【论文笔记】AFGRL:Augmentation-Free Self-Supervised Learning on Graphs(简要笔记供复习使用)

已于 2024-01-17 01:12:59 修改
阅读量1k 收藏 24
点赞数 28
文章标签： 笔记 深度学习 人工智能
于 2024-01-17 00:29:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_63084821/article/details/135638444
版权
文章探讨了AFGRL方法，一种无需图增强和负样本的自监督学习，它通过动量编码器和K近邻预测来保持结构信息。研究发现，相比于依赖实例判别法，AFGRL在图数据尤其是聚类任务中表现更好，因为它能有效利用局部和全局结构信息，且具有更好的超参数稳定性和细粒度信息处理能力。
摘要由CSDN通过智能技术生成

AFGRL:Augmentation-Free Self-Supervised Learning on Graphs

文献地址：Augmentation-Free Self-Supervised Learning on Graphs

Motivation

  • 图对比的正例对构造对增强方法敏感，由于图包含了语义信息和结构信息，因此在对边进行不同增强方法时，可能会影响其语义

  • 对不同数据分布的数据集，模型增强的参数需要分别进行调整

  • 简单的将其他节点特征看作负样本等同于忽略了图的结构信息，因此不一定从这种样本偏置中获益

Comment

  • 对BGRL的工作进行了总结，认为BGRL虽然并没有使用负样本，但是利用了图增强技术，因此可能同样会损坏图结构信息，同时也造成BGRL对增强超参数的敏感和不同数据分布的数据集上超参数差异过大的问题，应该以更强的方式替代这种方法

Contribution

  • 不需要图增强技术和负样本介入，仅依靠动量编码器和K近邻的潜在表征预测任务计算Loss防止坍塌
  • 通过查找的方式寻找了潜在的正样本，尽可能地保留了原有的语义和结构性信息
  • 超参数稳定性效果好

Method

  • 取预测目标（positive）原则

    考虑正样本应包含Local Structural Information或Global Semantics Information

在这里插入图片描述

  • Local Positive

  • K-NN(K近邻)
    计算所有online network节点在target network上的K个近邻节点（称online network上的节点为query节点）

    s i m ( v i , v j ) = h i θ ⋅ h j ξ ∥ h i θ ∥ ∥ h j ξ ∥ , ∀ v j ∈ V sim(v_i,v_j)=\frac{\mathbf{h}_i^\theta\cdot\mathbf{h}_j^\xi}{\|\mathbf{h}_i^\theta\|\|\mathbf{h}_j^\xi\|},\forall v_j\in\mathcal{V} sim(vi​,vj​)=∥hiθ​∥∥hjξ​∥hiθ​⋅hjξ​​,∀vj​∈V

  • Adjacency（邻居节点）

验证了不同数据集中随机初始化双层GCN处理后的K近邻同类/标签比例，随机相邻节点同类/标签比例，及二者交集的比例

相邻节点集合的分类比例会偏向于目标节点的类别，即平滑性假设（smoothness assumption）

在这里插入图片描述

adj.为邻接节点集，Rand.GCN为随机初始化GCN后KNN计算的节点集合，计算结果为相同类/标签概率​​

利用二者交集作为Local Positive选择范围

  • Global Positive

  • 该节点与目标节点处在一个聚类的簇（cluster）里-K-Means

  • 为了获取能够与目标节点共享全局结构信息的非相邻节点作为正样本
  • 利用K-Means聚类所有target network中的节点，将与目标节点相同簇且是该目标节点K近邻的节点作为Global Positive
    注：由于K-Means对初始化的聚类中心敏感，因此做了M次随机中心的聚类，并先将所有获得的节点取并集再与K近邻取交集

  • Loss函数

    • 对 P i P_i Pi​中所有节点和 z i θ z_i^{\theta} ziθ​计算余弦距离加和取平均，并进行了对称（将所有target network的节点作为query节点再算一次）

​在这里插入图片描述​

Details

  • 性能对比

    后两者超参数与节点分类模型最优参数一致

​在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

!!!This indicates that instance discrimination, which treats all other nodes except itself as negatives without consider-ing the graph structural information, is not appropriate forgraph-structured data, especially for clustering in which theglobal structural information is crucial
!!!这表明，将除自身之外的所有其他节点视为阴性而不考虑图结构信息的实例判别法不适用于图结构数据，特别是对于全局结构信息至关重要的聚类

  • 超参数测试

    ​​在这里插入图片描述
    ​

    K是KNN的查找个数，M是聚类次数

  • 消融实验

    ​在这里插入图片描述
    ​

    证明在图结构中K-NN代表的全局信息相较于Cluster代表的节点内部表征更有优势，甚至KNN的方法能获取足够多的局部信息即节点信息表征

  • embedding维度对比

    ​在这里插入图片描述
    ​

    证明AFGRL的Large-Scale能力很强，对细粒度的信息抓取能力很高
    同时一定程度上表明，原有的实力对比方法会丢失细粒度信息，造成维度增大后饱和速度极快

  • 可视化

    ​在这里插入图片描述
    ​

‍

‍

好想变有钱535
关注
  • 28
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
论文阅读“Augmentation-Free Self-Supervised Learning on Graphs”(AAAI 2022)
qq_43497436的博客
05-03 2656
论文标题 mentation-Free Self-Supervised Learning on Graphs 论文作者、链接 作者：Lee, Namkyeong and Lee, Junseok and Park, Chanyoung 链接：https://arxiv.org/pdf/2112.02472.pdf 代码：GitHub - mynameischaos/GCC: Graph Contrastive Clustering (ICCV2021) 预备知识 Introduction逻辑
10.04-Augmentation-Free Self-Supervised Learning on Graphs
weixin_45774311的博客
10-12 540
图对比学习
图对比学习论文总结
qq_51072801的博客
04-19 1246
图对比学习
ClassMix: Segmentation-Based Data Augmentation for Semi-Supervised Learning学习笔记
passer__的博客
03-10 1626
从DAFormer溯源到这篇文章，ClassMix主要是集合了伪标签和一致性正则化，思想来源于CutMix那条研究路线，但是优化了CutMix中的标签污染的情况，后续会说。一致性正则化的半监督学习在图像分类中取得了显著的进展，主要利用强数据增强来加强对未标记的一致性预测图片，然而在半监督语义分割中被证明是无效的。
[半监督学习] FeatMatch: Feature-Based Augmentation for Semi-Supervised Learning
不定期更新 Web 开发及机器学习相关博客
02-03 2604
在FeatMatch 中, 提出了一种新颖的基于学习特征的细化和增强方法, 该方法可产生各种复杂的转换集. 重要的是, 这些转换使用了通过聚类提取的类内和跨类原型表示中的信息. 这些转换与传统的基于图像的增强相结合, 被用作基于一致性的正则化损失的一部分.
论文阅读笔记：Self-supervised learning for medical image analysis using image context restoration
愿十四亿神州尽舜尧
06-03 1482
来源 Medical Image Analysis 标题 Self-supervised learning for medical image analysis using image context restoration 作者单位 伦敦帝国理工学院计算系，日本名古屋大学信息学研究所 方法简介 提出了一种基于上下文还原的新型自监督学习策略，以更好地利用...
GMSS: Graph-Based Multi-Task Self-Supervised Learning for EEG Emotion Recognition
qq_41191024的博客
05-24 1516
提出的方法：一个基于图的多任务自监督模型 对比方法：RGNN、BiHDM、A-LSTM、BiDANN、DANN、DGCNN、SeqCLR、SSL-EEG 实验使用数据集：SEED，SEED-IV，MPED 官方代码:https://github.com/CHEN-XDU/GMSS 注：第一篇在EEG情绪识别领域采用多任务自监督方法来改善模型泛化能力并避免过拟合的工作 问题 之前的基于EEG的情绪识别都是单任务学习，这会导致过拟合且学到的情绪特征缺乏泛化能力 多数基于EEG的情绪识别方法基本
CutPaste:Self-Supervised Learning for Anomaly Detection and Localization 论文解读（缺陷检测）
MOL
08-14 1623
CutPaste:用于异常检测和定位的自监督学习
自监督论文阅读笔记 SAENet: Self-Supervised Adversarial and Equivariant Network for Weakly Supervised Object D
YoooooL_的博客
05-03 619
SAENet：用于遥感图像中 弱监督目标检测的 自监督对抗和等变网络 Abstract： 大多数工作倾向于通过 利用贡献最大的区域 来优化检测模型，从而被目标最具辨别力的部分所支配。同时，这些方法忽略了同一图像在不同空间变换之间的一致性，总是用不同的类来标记它们，这会引入潜在的歧义。 为了应对这些挑战，本文提出了一个独特的自监督对抗和等变网络 (SAENet)，旨在学习 RSI 中 WSOD 的互补和一致的视觉模式。为此，首先设计了一个对抗性的 ...
Spatio-temporal Self-Supervised Representation Learning for 3D Point Clouds
qq_43369776的博客
12-05 1037
到目前为止，各种 3D 场景理解任务仍然缺乏实用和可推广的预训练模型，这主要是由于 3D 场景理解的复杂性质及其由相机视图、照明、遮挡等带来的巨大变化。在本文中，我们通过引入时空表示学习（STRL）框架来应对这一挑战，能够以自我监督的方式从未标记的 3D 点云学习。受婴儿如何从野外视觉数据中学习的启发，我们探索了从 3D 数据中获得的丰富的时空线索。具体而言，==STRL从3D点云序列中提取两个时间相关的帧作为输入，利用空间数据增强对其进行变换，并自监督地学习不变量表示。==为了证实 STRL 的有效性，我
CutPaste Self-Supervised Learning for Anomaly Detection and Localization
一只科研的向光
03-25 2040
CutPaste: Self-Supervised Learning for Anomaly Detection and Localization 用于异常检测和定位的自监督学习 简洁版 问题：异常的检测和定位 现有工作不足： ​ 现有的工作主要关注以对象为中心的自然图像中的检测语义异常值，这种方式在检测细粒度异常方面，没有很好的通用性 ​ 现有工作的中数据增强的方式（旋转预测，对比）对检测局部缺陷来说是次优的 **解决问题的挑战: ** 很难获取大量异常数据 缺陷很小且细微 精确定位缺陷是一个挑战，很难
图神经网络（十一）Graph Random Neural Networks for Semi-Supervised Learning on Graphs
码匀的博客
03-17 1400
本文作者来自清华大学，现有的GNN存在着过平滑、较差的鲁棒性以及当标记节点缺失时弱泛化性等问题，本文提出一个解决此类问题的框架-图随机神经网络（GRAND)。在GRAND中，本文首先设计了一个随机传播策略来实现图数据的扩展。然后作者利用一致性正则化来优化未标记节点在不同数据扩展中的预测一致性。在图基准数据集上的大量实验表明，在半监督节点分类方面，GRAND显著优于最先进的GNN基线。最后，作者展示了GRAND缓解了过度平滑和非鲁棒性的问题，表现出比现有GNN更好的泛化行为。 代码在这。 Model 下面直接
FD-FAug：Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation
qq_33619359的博客
05-13 862
NeurIPS2018，应该是第一篇结合蒸馏和联邦的文章了，所以从这开始看顶会顶刊的文章，希望尽快有自己的想法。文章将通讯传递的模型梯度换成了类别平均logits提升了通讯效率，使用GAN生成图片处理数据异构问题。code: 没找到。
STM32学习笔记（二、初识stm32单片机）
tommorrowwill的博客
09-10 685
首先stm32是意法半导体公司（ST）使用ARM公司的Cortex-M为核心生产的32位的单片机。其中，ST---意法半导体公司，即SOC厂商。M---为Microelectronics的缩写，即微型处理器。32---表示控制器为32位的。103---表示F系列的子系列。
【C++学习笔记】数组与指针（三）
qq_38196449的博客
09-09 1148
0（空字符）
UEFI学习笔记（五）：EDK II PCD的概念、类型、使用
最新发布
qq_44189622的博客
09-11 495
如果在BIOS里面有一些模块是binary方式集成进来的而这些binary又需要用到PCD（用于Binary Release），那么这些Binary集成的要用到的PCD就必须要设置为。PCD的值存在memory里面，下次启动时，上次更改的值丢失了，每次启动都是从default值开始。是存在VPD空间的（在FLASH上，只读），一般是出厂配置。如果platform是从源码build出来的，没有binary在里面的时候，PCD用的都是。作用域在一个模块中（模块级的），可以在Binary Level进行修改。
OJ在线判题系统项目笔记
今天不coding的博客
09-11 567
OJ在线判题系统项目笔记
C++学习笔记（10）
qq_60098634的博客
09-07 682
unordered_multimap 和 unordered_map 的区别在：unordered_multimap 允许关键字重复，而。unordered_multiset 和 unordered_set 的区别在：unordered_multiset 允许关键字重复，而。
Influence of Autoencoder-Based Data Augmentation on Deep Learning-Based Wireless Communication
03-30
Autoencoder-based data augmentation can have a significant influence on deep learning-based wireless communication systems. By generating additional training data through data augmentation, the ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值