GNN 2021(七) GraphMix: Improved Training of GNNs for Semi-Supervised Learning，AAAI

最新推荐文章于 2023-02-19 17:57:36 发布
最新推荐文章于 2023-02-19 17:57:36 发布
阅读量1k 收藏 3
点赞数 2
分类专栏： 图神经网络2021 文章标签： 图神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36618444/article/details/115960225
版权
本文结合Manifold Mixup提出GraphMix，用于图神经网络的半监督学习正则化。通过参数共享和插值正则化，与全连接网络一同训练，改善GNN的泛化能力。GraphMix在训练时引入全连接网络，利用GNN预测的平均值增强模型的鲁棒性，并在实验中展示了其优越性能。
摘要由CSDN通过智能技术生成

在这里插入图片描述
其实本文就是与ICLR19年发表的一篇论文Manifold Mixup做了一个结合，利用Manifold Mixup提出了一种基于半监督节点分类的图神经网络正则化方法，通过参数共享和基于插值的正则化，与图神经网络共同训练全连接网络。最主要的难点在于从理论上分析了GraphMix如何改进底层图神经网络的泛化边界，而没有对图神经网络的聚合层数或深度做任何假设。本文的方法也可以与一些基线模型相结合，比如GCN，GAT，Graph-U-Net等。为了简化我们暂时不看大量的公式证明，直接看Mixup数据增强的思想如何应用在图神经网络中。

Manifold Mixup

首先来看Manifold Mixup【1】。尽管【1】中给出了Manifold Mixup的不少理论分析，但是Manifold Mixup从实际的操作来看是很简单的。先假设有一个神经网络： T θ

了解本专栏 订阅专栏 解锁全文 超级会员免费看
五月的echo
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
图神经网络(二十六) Graph Random Neural Networks for Semi-Supervised Learning on Graphs, NeurIPS2020
qq_36618444的博客
02-17 1752
本文出自清华大学唐杰老师团队。 在本文中，提出了一个简单而有效的框架图随机神经网络(GRAND)来解决图神经网络过拟合、过平滑、抗扰动性差等问题，设计了一种随机传播策略来进行图数据扩充。 受到图像上研究的“一致性正则化”(consistency regularized training)启发，设计半监督学习的图数据增强和一致性正则化策略。具体来说，每个节点的特征可以部分(dropout)或全部随机删除，然后在图上传播受扰动的特征矩阵，因此，每个节点都能够对特定的邻域不敏感，增加了GRAND的鲁棒性。随机传播
【AAAI 2021】全部接受论文列表（六）
yinizhilianlove的博客
01-14 5881
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2021-01-14 马上春节了，疫情又卷土而来，希望大家注意防护，爱护自己的身体 AAAI 2021论文接收情况   人工智能顶级会议AAAI 2021 已经给出接收论文列表，共有1692篇论文被接收，录取率21%，比去年的20.6%稍微有些上升。单从数量上看，也比去年多了101篇。本届 AAAI 2021已经是第35 届会议了。据 AAAI 2021官方网站，这个 2021年首个人工智能顶会将全.
2021-KDD-MixGCF: An Improved Training Method for Graph Neural Network-based Recommender Systems
Dive的博客
03-22 362
MixGCF: An Improved Training Method for Graph Neural Network-based Recommender Systems 2021-KDD 清华唐杰老师 利用u-i图结构和GNN的聚合过程来研究GNN-CF中的负采样。提出了MixGCF，设计了hop mix技术来合成hard负样本。 3 THE MIXGCF METHOD positive mixing：插值混合法，将正样本中的信息注入到负样本，make hard 负样本 hop mixing：使用
[sampling] MixGCF: An Improved Training Method for Graph Neural Network-based Recommender Systems
07-05 1116
Info： 本文首发于公众号：code路漫漫 欢迎关注 KDD2021采样相关的文章 代码已经开源： huangtinglin/MixGCF ​ github.com 图标 文章提出了一种新的采样方法，使用该方法生成的负样本能让推荐效果更好 这里从文章里面补充一下推荐系统采样相关的知识： 首先数据集是implicit dataset，只有交互记录，没有交互的评分、评论等反映偏好等信息。在该数据集中，所有交互过的行为统一视为正样本，没有发生过交互的物品（往往很多）可以采样出一部分作为负样本。 和正样本相似的负
MixGCF: An Improved Training Method for Graph NeuralNetwork-based Recommender Systems（个人笔记）
qq_29717841的博客
04-18 912
论文：MixGCF：一种改进的基于图神经网络的推荐系统训练方法（KDD.2021） 文章链接：MixGCF | Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining 代码链接：https://github.com/huangtinglin/MixGCF （Pytorch版） 1. 前言 1.1 提出的问题 a. 推荐模型中广泛使用的 CF 存在的一大弊端就是不能很好的学习到隐式负
Graphmixup论文梳理以及实验总结记录
qq_45923860的博客
02-16 754
本文是对图上节点分类领域中数据不平衡问题相关文章“Graphmixup：Improving Class-Imbalanced Node Classification by Reinforcement Mixup and Self-supervised Context Prediction”的精简梳理和总结，并基于此文增加相关评价指标和数据集进行更多的实验分析，并对代码执行过程中遇到的问题以及解决方案进行记录。
图神经网络（十一）Graph Random Neural Networks for Semi-Supervised Learning on Graphs
码匀的博客
03-17 1401
本文作者来自清华大学，现有的GNN存在着过平滑、较差的鲁棒性以及当标记节点缺失时弱泛化性等问题，本文提出一个解决此类问题的框架-图随机神经网络（GRAND)。在GRAND中，本文首先设计了一个随机传播策略来实现图数据的扩展。然后作者利用一致性正则化来优化未标记节点在不同数据扩展中的预测一致性。在图基准数据集上的大量实验表明，在半监督节点分类方面，GRAND显著优于最先进的GNN基线。最后，作者展示了GRAND缓解了过度平滑和非鲁棒性的问题，表现出比现有GNN更好的泛化行为。 代码在这。 Model 下面直接
【论文分享】小样本半监督图结点分类模型 Meta-PN：Meta Propagation Networks for Graph Few-shot Semi-supervised Learning
vector的博客
05-19 820
本文提出了一种新的图元学习框架：元传播网络(Meta- PN)，用于解决小样本半监督节点分类问题。该框架由两个部分构成 1. Adaptive Label Propagator (Meta Learner)：利用目标模型的反馈来调整其传播策略，以在未标记节点上推断出准确的伪标签。2. Feature-label Transformer (Target Model)： 吸收伪标记节点的结构和特征知识预测标签，从而解决了小样本半监督学习背后的挑战。
【GNN综述_2021_11】Graph Self-Supervised Learning: A Survey
09-02
图神经网络（GNNs）是深度学习在处理图数据时的重要工具，它们能够学习节点、边和整个图的表示。然而，传统的图学习方法，尤其是（半）监督学习，严重依赖于大量的人工标签，这限制了其泛化能力和鲁棒性。为了解决这...
GraphMix:在GraphMix论文中再现结果的代码
05-04
GraphMix 这是用于重现Paper GraphMix（ ）的结果的Pytorch代码。 GraphMix是用于基于图神经网络（GNN）的半监督节点分类的一种简单有效的正则化方法。 我们证明，使用此正则化器，即使是更简单的GNN架构（例如GCN（Kipf等人））也可以在基准图数据集（例如Cora / Citeseer / Pubmed）上获得最新的结果。 要求 此代码已使用Python 3.6.3进行了测试，并且需要以下软件包（请参阅所有软件包的requirements.txt列表）： 火炬== 1.1.0 numpy == 1.16.3 熊猫== 0.24.1 枕头== 5.3.0 scikit学习== 0.21.2 scipy == 1.2.1 seaborn == 0.9.0 六个== 1.12.0 tqdm == 4.32.2 怎么跑 要重现表1中Grap
Mixup for Node and Graph Classification阅读
cobracanary的博客
02-07 860
一篇来自WWW21的论文，看完觉得颇为有趣，特地记录一下： mixup是一种CV中常用的数据处理手段，可以从现存的有标签样本中生成新的样本，其思想也非常简单，假设有两个样本(xi,yi),(xj,yj)(x_i,y_i),(x_j,y_j)(xi​,yi​),(xj​,yj​)，新的样本生成方式为： xij=αxi+(1−α)xj x_{ij}=\alpha x_i+(1-\alpha)x_j xij​=αxi​+(1−α)xj​ yij=αyi+(1−α)yj y_{ij}=\alpha y_i+(1
【GNN】2022 G-Mixup: Graph Data Augmentation for Graph Classification
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
08-08 640
图数据增强G-Mixup，使用了图生成器去融合图数据，实现了class-level的图数据mixup
G-Mixup: Graph Data Augmentation for Graph Classification
回锅肉炒肉的博客
08-10 1418
然而，直接采用Mixup对图数据进行增强具有挑战性，因为不同的图通常有以下几个问题：1)节点数量不同；2)不容易对齐；3)在非欧几里得空间中具有独特的类型学。为此，我们提出G-Mixup，通过插入不同类别图的生成器(即graphon)来增强图的分类。具体来说，我们首先使用同一个类中的图来估计graphon。然后，我们不直接操作图，而是在欧氏空间中插入不同类别的graphons，以得到混合graphons，其中合成图是通过基于graphons的采样生成的。大量实验表明，G-Mixup显著提高了GNNs的泛化能
论文-基于一致性-多样性图增强的图神经网络正则化
weixin_42165744的博客
02-19 535
图神经网络（GNNs）作为一种典型的基于图的半监督学习（SSL）方法，已经取得了最先进的性能（Kipf and Welling 2017;Velickovic等人，2018年）。尽管取得了成功，但GNNs仍因没有充分利用未标记数据而受到批评（Wang et al. 2020;Feng等人，2020），这是SSL的基本要求（Yang等人，2021）。以前的方法倾向于使用伪标签来克服这个限制（Sun，Lin和Zhu 2020;Li、Han和Wu，2018年），但校准效果较差（Guo等人，2017年）。
KDD'21 | FaceBook ：基于图的负采样方法
Kaiyuan_sjtu的博客
11-11 717
MixGCF: An Improved Training Method for Graph Neural Network-based Recommender Systemshttps://...
AAAI2021 | 图神经网络最新进展解读
BAAIBeijing的博客
02-24 2879
作者：纪厚业，北京邮电大学，智源 AAAI预讲会讲者近年来，图神经网络（GNN，Graph Neural Network）逐渐成为人工智能领域的一大热门领域。GNN的一大优势是能够使各个领...
图卷积网络 GCN Graph Convolutional Network（谱域GCN）的理解和详细推导
热门推荐
知行合一，止于至善
08-24 16万+
文章目录1. 为什么会出现图卷积神经网络？2. 图卷积网络的两种类型2.1 vertex domain(spatial domain)：顶点域（空间域）2.2 spectral domain：频域方法（谱方法）3. 什么是拉普拉斯矩阵？3.1 常用的几种拉普拉斯矩阵普通形式的拉普拉斯矩阵对称归一化的拉普拉斯矩阵（Symmetric normalized Laplacian）随机游走归一化拉普拉斯矩...
图神经网络论文阅读(十七) MixHop: Higher-Order Graph Convolutional Architectures，ICML2019
qq_36618444的博客
10-12 3199
本文的全名叫做《MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing》，作者们来自University of Southern California与Google AI, New York。GCN由于基于切比雪夫截断的简化使得在卷积的过程中只能使用邻居节点的信息，不能学习一般的邻域混合关系。因此本文提出了新的模型MixHop，它可以通过在不同距离重复混合邻居的特征表示来学习这些关系。
H:\Joe\GNN\ASTGCN-r-pytorch-master>pip install scikit-learn failed to create process.
最新发布
07-23
如果在执行 `pip install` 命令时出现 "failed to create process" 错误，可能是由于系统环境变量配置问题导致的。你可以尝试以下解决方法： 1. 确保你的Python环境已正确安装并配置好。 2. 确认你的系统环境变量...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五月的echo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值