Graphormer代码解读-spatial pos

最新推荐文章于 2024-05-14 14:21:23 发布
最新推荐文章于 2024-05-14 14:21:23 发布
阅读量1.3k 收藏
点赞数
分类专栏： 机器学习 论文 文章标签： 图论 知识图谱 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kongbaifeng/article/details/123211983
版权

nn.Embedding 节点位置编码 图注意力机制 one-hot 向量化
关键词由CSDN通过智能技术生成 
self.spatial_pos_encoder = nn.Embedding(num_spatial, num_heads, padding_idx=0)

# spatial pos
# [n_graph, n_node, n_node, n_head] -> [n_graph, n_head, n_node, n_node]     
 spatial_pos_bias = self.spatial_pos_encoder(spatial_pos).permute(0, 3, 1, 2)   
 graph_attn_bias[:, :, 1:, 1:] = graph_attn_bias[:, :, 1:, 1:] + spatial_pos_bias

spatial_pos为节点到每个节点的跳数，数据原始维度为(graph,node,node)
nn.Embedding会将向量扩充一维，将跳数从one-hot到向量化

kongbaifeng
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
探寻Graphomer
ch_shijie的博客
10-17 477
快速了解Graphomer的三大编码！
Ontop-Spatial：地理空间数据库之上-研究论文
06-10
我们的方法已在系统 Ontop-spatial 中实现，这是 OBDA 系统 Ontop 的扩展，用于在地理空间关系数据库之上创建虚拟地理空间 RDF 图。 我们使用和扩展了最先进的基准对我们的系统进行了实验评估。 为了衡量我们系统的...
【Graphormer阅读笔记、实验与刷榜】《Do Transformers Really Perform Bad for Graph Representation?》
智慧的旋风的博客
08-09 4489
Graphormer阅读笔记——chx paper：https://arxiv.org/abs/2106.05234 code：https://github.com/microsoft/Graphormer （main分支） Graphormer主要策略 1. Transformer结构 主要有Transformer layer组成，每一层包括MHA（多头自注意）和FFN（前馈）模块，并增加了LN。 h′(l)=MHA(LN(h(l−1)))+h(l−1)h(l)=FFN(LN(h′(l)))+h′(
【附论文PDF+代码地址】GNN-Transformer新突破！全局与局部的完美融合
最新发布
yyyyyybw的博客
05-14 639
这类结合不仅能够让两者发挥各自的优势，还能推动模型的创新，提高处理图数据的效率和性能。具体点讲，通过利用Transformer，我们可以扩展GNN的感受野，包括那些距离中心节点较远的相关节点。相对的，GNN也可以帮助Transformer捕捉复杂的图拓扑信息，并从相邻区域高效地聚合相关节点。目前，，这其中有不少个人认为很值得学习的成果。比如GNN 嵌套 Transformer 模型、仅使用一层全局注意力的简化图Transformer模型。本文挑选了。
graphormer 代码阅读
m0_47163076的博客
10-15 2944
看论文 论文中找到github代码连接 一开始论文刚发表时代码是没有公布的，后来过了一两个月才发布 运行他的代码 https://hub.xn–gzu630h.xn–kpry57d/microsoft/Graphormer github链接 下载到服务器上运行 进行环境准备和所需要的包安装时遇到问题：主要是torch-geometric的安装问题 最终解决方案是将下图中的最后两步换掉 安装torch按照pytorch官网步骤来，这里我的cuda版本是11.4，所以我安装了最新版本，1.9.1，使用conda
Graphormer 的理解、复现及应用——理解
热门推荐
GSM_GSM的博客
07-12 1万+
Transformer 在NLP和CV领域取得颇多成就，近期突然杀入图神经网络竞赛，并在OGB Large-Scale Challenge竞赛中取得第一名的成绩。 Graphormer作为实现算法实现的主要架构，已经在Do Transformers Really Perform Bad for Graph Representation?（https://arxiv.org/abs/2106.05234）进行了详细的介绍。本博文主要是在讲解翻译一下该文章的基础上加入一些博主自己的理解，并对Graphorm.
Graphormer
zsycode的博客
08-02 887
本文思考如何将Transformer的主体结构应用到图结构数据上。 作者认为将Transformer应用到图上最关键问题是如何适合地将图的结构信息整合到模型之中。自注意力机制只计算了节点和其他节点的语义相似性，而没有考虑图上节点的结构信息和节点对之间的关系。 作者采用了如下三种方式对结构信息进行编码 Centrality Encoding 中心性编码，用来衡量节点的重要性，通过节点的入度和出度来得到中心性编码 ​是基于入度和出度的可学习向量，如果是无向图，则出度等于入度。将..
论文笔记-graphormer
chenxino的博客
09-20 912
transformer在图表征中的运用。
mathnet-spatial：Math.NET空间
01-28
以下软件包在公共中提供和维护： MathNet.Spatial-核心程序包。 支持平台： .Net 4.0和Mono：Windows，Linux和Mac。建立Math.NET空间Windows（.Net）： Linux（单声道）： 如果您不想使用正式的二进制文件，或者想...
lucene-spatial-4.9.0.jar
04-15
lucene-spatial-4.9.0.jar
xarray-spatial:适用于Python的基于栅格的空间分析
04-20
Xarray-Spatial使用Numba实现了常见的栅格分析功能，并提供了易于安装，易于扩展的代码库来进行栅格分析。 安装 # via pip pip install xarray-spatial # via conda conda install -c conda-forge xarray-spatial ...
Graphormer:这是“变形金刚对图形表示真的很糟糕吗？”的官方实现。
07-24
绘图员 ,,,*,,*,,. 这个 repo 是的官方实现。 . 更新 06/10/2021 初始提交： 许可证文件和示例代码。 介绍 Graphormer最初是在描述的，它是一个标准的 Transformer 架构，具有多种结构编码，可以有效地将图的结构信息编码到模型中。 Graphormer 在 PCQM4M-LSC（ 0.1234 MAE ）、MolPCBA（测试值为31.39 AP(%) )、MolHIV（测试值为80.51 AUC(%) ）和 ZINC（测试值为0.122 MAE on test 80.51 AUC(%)上取得了强劲的性能，比之前的模型高出一倍大保证金。 主要结果 引用 Graphormer @article{ying2021transformers, title={Do Transformers Really Perform Bad for Gr
lucene-spatial-6.6.0-API文档-中文版.zip
05-02
赠送源代码：lucene-spatial-6.6.0-sources.jar； 赠送Maven依赖信息文件：lucene-spatial-6.6.0.pom； 包含翻译后的API文档：lucene-spatial-6.6.0-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache....
公开催化剂挑战赛冠军模型、通用AI分子模拟库Graphormer开源！
微软技术栈
10-20 615
新一代对图（Graph）数据进行建模的深度学习模型
Transformer再下一城！MSRA提出用于图结构数据的Graphormer！斩获OGB-LSC图预测赛道冠军...
阿木寺的博客
06-21 954
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：微软研究院AI头条编者按：在刚刚结束的由 KDD Cup 2021 和 Open Graph Benchma...
Graphormer（图上Transformer） Do Transformers Really Perform Bad for Graph Representation？
tagagi的博客
11-26 2043
这个模型是KDD Cup 2021 OGB-LSC（Open Graph Benchmark Large-Scale Challenge）图预测赛道第一名： KDD Cup 2021 | 微软亚洲研究院Graphormer模型荣登OGB-LSC图预测赛道榜首 论文地址： https://arxiv.org/abs/2106.05234 论文代码： https://github.com/Microsoft/Graphormer 内容：提出了图上的Transformer，命名为Graphorm...
【图-注意力笔记，篇章2】Graphormer 和 GraphFormers论文笔记之两篇经典Graph Transformer来入门
xiaobaizaza_Ry的博客
03-02 5511
Graphormer和GraphFormer论文的相关介绍及笔记
[NeurIPS 2021] Do Transformers Really Perform Bad for Graph Representation?
连理o的博客
07-07 779
[NeurIPS 2021] Do Transformers Really Perform Bad for Graph Representation?
能写一段Spectral-Spatial Convolution的代码吗
03-28
抱歉，作为AI语言模型，我无法编写代码。但是，我可以解释Spectral-Spatial Convolution的原理和应用。 Spectral-Spatial Convolution是一种常用于图像和遥感图像处理的卷积神经网络（CNN）层。它结合了空间信息和频谱信息，将空间域和频域信息相互作用，从而可以更有效地提取图像特征。 在Spectral-Spatial Convolution中，每个卷积核包含两部分：空间卷积核和频谱卷积核。对于每个像素，空间卷积核在空间上滑动，频谱卷积核在频谱上滑动，两者在空间域和频域上的输出相互作用，得到最终的卷积结果。 以下是一个示例代码，展示了如何在PyTorch中实现Spectral-Spatial Convolution层： ``` import torch import torch.nn as nn import torch.nn.functional as F class SpectralSpatialConv(nn.Module): def __init__(self, in_channels, out_channels, kernel_size): super(SpectralSpatialConv, self).__init__() self.spatial_conv = nn.Conv2d(in_channels, out_channels, kernel_size) self.fft = torch.fft.fftn self.ifft = torch.fft.ifftn self.kernel_size = kernel_size self.out_channels = out_channels self.in_channels = in_channels self.weight = nn.Parameter(torch.Tensor(out_channels, in_channels, kernel_size, kernel_size)) self.reset_parameters() def reset_parameters(self): nn.init.kaiming_uniform_(self.weight, a=math.sqrt(5)) def forward(self, x): # Perform spatial convolution spatial_output = self.spatial_conv(x) # Perform spectral convolution fft_input = self.fft(x, dim=[2,3]) fft_kernel = self.fft(self.weight, dim=[2,3]) fft_output = torch.matmul(fft_input, fft_kernel) spectral_output = self.ifft(fft_output, dim=[2,3]).real # Combine spatial and spectral outputs output = spatial_output + spectral_output return output ``` 在这个例子中，我们定义了一个SpectralSpatialConv类，它继承了nn.Module类。在__init__方法中，我们定义了空间卷积和频谱卷积的卷积核，并初始化了权重。在forward方法中，我们首先进行空间卷积，然后进行频谱卷积，并将两个输出相加，得到最终的输出。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值