【论文阅读笔记】Graph Invariant Learning with Subgraph Co-mixup for Out-Of-Distribution Generalization

最新推荐文章于 2024-07-11 17:11:57 发布
最新推荐文章于 2024-07-11 17:11:57 发布
阅读量248 收藏 3
点赞数 2
分类专栏： 阅读 文章标签： 论文阅读 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42725437/article/details/140248939
版权

思路

GNN已经被证明在图表示学习方面表现很好，但在处理OOD数据时往往缺乏泛化能力。
OOD（out of distribution）：现有的图神经网络依赖训练集和测试集是同分布的假设，现实世界存在各种形式的分布偏移，测试集就是分布外数据，将在训练数据上表现良好的gnn，用在测试集上会显著失败。所以需要捕获预测模式与标签之间的不变关系。
不变学习： 解决针对OOD的泛化。基于不变准则：存在一定比例的数据能够捕获不同环境中数据与标签之间的不变关系。然而，现有的DIR、GIL依赖环境的划分。
需要做的：
1.通过mixup产生足够多的环境
2.提升mixup方法使得尽可能多得保存不变信息同时排除掉环境相关的有欺骗性的相关关系。

Notations and Preliminaries

在这里插入图片描述
其中G是图，Y是标签

问题：把图分为两部分，一部分是不变子图在这里插入图片描述和环境子图在这里插入图片描述
使得不变子图决定标签的类别，而削弱环境子图的影响。

方法

在这里插入图片描述
Invariant Subgraph Extractor

在这里插入图片描述
根据p的伯努利分布在图中采样边得到不变子图
Environment Mixup.
在这里插入图片描述
得到K个环境
在这里插入图片描述
Invariant Mixup.
Manifold Mixup
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

实验结果

在这里插入图片描述
在这里插入图片描述

qq_42725437
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
M2GRL_A Multi-task Multi-view Graph Representation Learning Framework for Web-sc
12-25
KDD202论文M2GRL_A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems ｜ 图 ｜ 推荐
Nonnegative Sparse and KNN graph for semi-supervised learning
02-06
For the graph-based semi-supervised learning, the performance of a classifier is very sensitive to the structure of the graph. So constructing a good graph to represent data, a proper structure for ...
ICLR24和AAAI24图神经网络高分论文汇总
人工智能曾小健
03-27 982
然而，通过实验研究，我们发现高阶邻居的标签实际上表现出单性，这可以在不需要一阶邻居之间的相似性的情况下，基于高阶邻居之间的标签诱导出相似性。OFA提出了文本属性图，通过自然语言描述节点和边缘来统一不同的图数据，并使用语言模型将不同的、可能跨域的文本属性编码为同一嵌入空间中的特征向量。在未来的工作中，作者的目标是将提出的框架扩展到节点分类任务，并探索其在动态图中的适用性。最重要的是，所提出的方法具有即插即用的特点，并且我们通过经验证明所提出的方法对多个最先进的GCL模型是通用的。我们提出了一种新的可扩展。
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(一)
yinizhilianlove的博客
02-21 1万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-01-22     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
CVPR2022论文列表（中英对照）
热门推荐
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
【CVPR2022】论文列表与下载——PartTwo
TomRen
06-12 2361
CVPR2022完整论文列表
学习论文 “Edge-Labeling Graph Neural Network for Few-shot Learning”笔记
01-06
个人笔记对模型数学上的解读部分很大程度上受到这篇博客的启发与参考 Notation T=S∪QT=S \cup QT=S∪Q,support set and query set, support set SSS in each episode serves as the labeled training set xix_ixi​...
Self-supervised Graph Learning for Recommendation
12-20
在推荐系统领域，自监督学习（self-supervised learning）已经成为一种新兴的研究焦点，尤其是在结合图学习（graph learning）的情况下。自监督学习的核心思想是利用数据自身的信息来构建监督信号，而不是依赖于人工...
论文研究-Graph Regularized Multi-view Nonnegative Matrix Factorization with Structured Sparsity.pdf
08-22
基于图正则结构化稀疏的多视图非负矩阵分解，彭进业，罗鹏，非负矩阵分解由于其心理学和生理学构造依据是整体由部分的感知构成而受到广泛关注。另一方面，现实中的数据集通常由多个互补和兼
Test-Time Adaptation via Conjugate Pseudo-labels--论文笔记
dezwb的博客
07-09 1128
测试时间适应(TTA)指的是使神经网络适应分布变化，在测试时间仅访问来自新领域的未标记测试样本。以前的TTA方法对无监督目标进行优化，如Tent中模型预测的熵，但尚不清楚究竟是什么造成了良好的TTA损失。本文首先提出一个令人惊讶的现象：如果我们试图在一个广泛类别函数上元学习可能的最佳TTA损失，那么我们恢复的函数与Tent使用的Softmax-熵非常相似(温度缩放的版本)。然而，这只有在我们正在适应的分类器是通过交叉熵损失来训练的情况下才成立；
Feature Alignment and Uniformity for Test Time Adaptation--论文笔记
最新发布
dezwb的博客
07-11 1014
TTA在接收训练分布外的测试域样本时对深度神经网络进行自适应。在这样设置下，模型只能访问在线未标记的测试样本和训练域上的预训练模型。由于源域和目标域之间的域差距，我们首先将TTA作为一个特征修正问题来解决。之后，我们根据对齐和一致性两个方面来讨论测试时间特征的修正。对于测试时间特征一致性，我们提出了一种测试时间自蒸馏策略，以确保当前批次和所有先前批次的表示之间的一致性。对于测试时间特征对齐，我们提出了一种记忆的空间局部聚类策略，以对齐即将到来的批次的邻域样本之间的表示。
论文阅读2-《Dynamic Multimodal Fusion》
PETERPARKERRR的博客
07-09 625
（DynMM），一种新的方法，自适应融合多模态数据和 d在推理过程中生成依赖于数据的前向路径。为此，我们提出了一种门控功能来提供基于多模态特征和一个的模态级或融合级决策提高计算效率的源感知损失函数。
Efficient Estimation of Word Representations in Vector Space论文笔记解读
m0_52775136的博客
07-09 605
将输出层的单词表示为一个二叉树，其中每个叶子节点都表示一个单词。每个非叶子节点都表示两个子节点的内积，每个叶子节点都表示该单词的条件概率。对于给定的一对（中心单词，上下文单词），我们希望最大化它们的共现概率。最后输出V个概率，复杂度比较高，采用了2重方法降低复杂度，分别是层次softmax和负采样。Word2vec的向量表示能够自动捕捉到单词之间的语义和语法关系。舍弃多分类，把多分类转变成二分类问题（正样本和负样本）。用周围词预测中心词，求和的时候忽略了每个词的顺序。增大正样本的概率，减小负样本的概率。
论文阅读【时间序列】TimeMixer (ICLR2024)
micaudience的博客
07-11 1105
TimeMixer: DECOMPOSABLE MULTISCALE MIXING FOR TIME SERIES FORECASTING [清华+蚂蚁] ICLR 2024 时间序列论文
DELTA: DEGRADATION-FREE FULLY TEST-TIME ADAPTATION--论文笔记
dezwb的博客
07-10 1313
完全测试时间自适应旨在使预训练模型在实时推理过程中适应测试数据流，当测试数据分布与训练数据分布不同时，这种方法很有效。为提高适应性能作出了若干努力。然而，我们发现，在一些刘硎的的自适应方法中，如测试时批量归一化（BN）和自学习，隐藏了两个不利的缺陷。首先，我们指明了测试时间BN中的归一化统计量完全受当前接收的测试样本的影响，会导致不准确的估计。其次，我们证明了在测试时间自适应过程中，参数更新偏向于一些优势类。
[论文笔记]涨点近5%! 以内容中心的检索增强生成可扩展的级联框架:Pistis-RAG
日积月累，天道酬勤
07-11 825
⭐ 作者提出了一个新颖的框架，以内容为中心。该框架包括不同的阶段：匹配、预排名、排名、多路径推理和聚合。其中包含了很多工程细节，值得参考。但没有看到总体耗时相关的描述以及整体代码，可能耗时会相对较长。
[论文笔记]RAPTOR: RECURSIVE ABSTRACTIVE PROCESSING FOR TREE-ORGANIZED RETRIEVAL
日积月累，天道酬勤
07-10 1134
⭐ 作者引入了一种新颖的方法，递归嵌入、聚类和总结文本片段，从底部开始构建具有不同摘要级别的树。在推理期间，首先将这棵树拉平，然后从拉平的树节点中检索，将跨不同抽象级别的庞大文档中的信息整合起来。
《RWKV》论文笔记
Zssss12的博客
07-09 1022
这些通常涉及复杂的顺序数据处理任务比如自然语言理解任务，会话AI，时间序列分析，和间接顺序格式，如图像和图表(Brown等人，2020;到目前为止，我们将我们的模型扩展到多达 14 亿个参数，是迄今为止训练的最大密集 RNN，发现 RWKV 的性能与类似大小的 Transformer 相当，这表明未来的工作可以利用这种架构来创建更有效的模型。在该架构中，计算中涉及的所有线性投影向量(R, K, V，通道混合中的R '， K ')都是通过当前时间步输入和前一个时间步输入之间的线性插值产生的，促进令牌移位。
Structure-Aware Transformer for Graph Representation Learning 论文代码的 dgl实现
05-29
"Structure-Aware Transformer for Graph Representation Learning"是一篇使用Transformer模型进行图表示学习的论文。这篇论文提出了一种名为SAT（Structure-Aware Transformer）的模型，它利用了图中节点之间的结构信息，以及节点自身的特征信息。SAT模型在多个图数据集上都取得了非常好的结果。 以下是SAT模型的dgl实现代码，代码中使用了Cora数据集进行示例： ``` import dgl import numpy as np import torch import torch.nn as nn import torch.nn.functional as F class GraphAttentionLayer(nn.Module): def __init__(self, in_dim, out_dim, num_heads): super(GraphAttentionLayer, self).__init__() self.num_heads = num_heads self.out_dim = out_dim self.W = nn.Linear(in_dim, out_dim*num_heads, bias=False) nn.init.xavier_uniform_(self.W.weight) self.a = nn.Parameter(torch.zeros(size=(2*out_dim, 1))) nn.init.xavier_uniform_(self.a.data) def forward(self, g, h): h = self.W(h).view(-1, self.num_heads, self.out_dim) # Compute attention scores with g.local_scope(): g.ndata['h'] = h g.apply_edges(fn.u_dot_v('h', 'h', 'e')) e = F.leaky_relu(g.edata.pop('e'), negative_slope=0.2) g.edata['a'] = torch.cat([e, e], dim=1) g.edata['a'] = torch.matmul(g.edata['a'], self.a).squeeze() g.edata['a'] = F.leaky_relu(g.edata['a'], negative_slope=0.2) g.apply_edges(fn.e_softmax('a', 'w')) # Compute output features g.ndata['h'] = h g.update_all(fn.u_mul_e('h', 'w', 'm'), fn.sum('m', 'h')) h = g.ndata['h'] return h.view(-1, self.num_heads*self.out_dim) class SATLayer(nn.Module): def __init__(self, in_dim, out_dim, num_heads): super(SATLayer, self).__init__() self.attention = GraphAttentionLayer(in_dim, out_dim, num_heads) self.dropout = nn.Dropout(0.5) self.norm = nn.LayerNorm(out_dim*num_heads) def forward(self, g, h): h = self.attention(g, h) h = self.norm(h) h = F.relu(h) h = self.dropout(h) return h class SAT(nn.Module): def __init__(self, in_dim, hidden_dim, out_dim, num_heads): super(SAT, self).__init__() self.layer1 = SATLayer(in_dim, hidden_dim, num_heads) self.layer2 = SATLayer(hidden_dim*num_heads, out_dim, 1) def forward(self, g, h): h = self.layer1(g, h) h = self.layer2(g, h) return h.mean(0) # Load Cora dataset from dgl.data import citation_graph as citegrh data = citegrh.load_cora() g = data.graph features = torch.FloatTensor(data.features) labels = torch.LongTensor(data.labels) train_mask = torch.BoolTensor(data.train_mask) val_mask = torch.BoolTensor(data.val_mask) test_mask = torch.BoolTensor(data.test_mask) # Add self loop g = dgl.remove_self_loop(g) g = dgl.add_self_loop(g) # Define model and optimizer model = SAT(features.shape[1], 64, data.num_classes, 8) optimizer = torch.optim.Adam(model.parameters(), lr=0.005, weight_decay=5e-4) # Train model for epoch in range(200): model.train() logits = model(g, features) loss = F.cross_entropy(logits[train_mask], labels[train_mask]) optimizer.zero_grad() loss.backward() optimizer.step() acc = (logits[val_mask].argmax(1) == labels[val_mask]).float().mean() if epoch % 10 == 0: print('Epoch {:03d} | Loss {:.4f} | Accuracy {:.4f}'.format(epoch, loss.item(), acc.item())) # Test model model.eval() logits = model(g, features) acc = (logits[test_mask].argmax(1) == labels[test_mask]).float().mean() print('Test accuracy {:.4f}'.format(acc.item())) ``` 在这个示例中，我们首先加载了Cora数据集，并将其转换为一个DGL图。然后，我们定义了一个包含两个SAT层的模型，以及Adam优化器。在训练过程中，我们使用交叉熵损失函数和验证集上的准确率来监控模型的性能。在测试阶段，我们计算测试集上的准确率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值