Graphormer代码解读-spatial pos

最新推荐文章于 2024-09-14 07:33:24 发布
最新推荐文章于 2024-09-14 07:33:24 发布
阅读量1.3k 收藏
点赞数
分类专栏： 机器学习 论文 文章标签： 图论 知识图谱 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kongbaifeng/article/details/123211983
版权

nn.Embedding 节点位置编码 图注意力机制 one-hot 向量化
关键词由CSDN通过智能技术生成 
self.spatial_pos_encoder = nn.Embedding(num_spatial, num_heads, padding_idx=0)

# spatial pos
# [n_graph, n_node, n_node, n_head] -> [n_graph, n_head, n_node, n_node]     
 spatial_pos_bias = self.spatial_pos_encoder(spatial_pos).permute(0, 3, 1, 2)   
 graph_attn_bias[:, :, 1:, 1:] = graph_attn_bias[:, :, 1:, 1:] + spatial_pos_bias

spatial_pos为节点到每个节点的跳数，数据原始维度为(graph,node,node)
nn.Embedding会将向量扩充一维，将跳数从one-hot到向量化

kongbaifeng
关注
专栏目录
探寻Graphomer
ch_shijie的博客
10-17 553
快速了解Graphomer的三大编码！
laravel-mysql-spatial：MySQL空间数据扩展与Laravel集成
02-03
Laravel MySQL Spatial扩展 Laravel软件包可轻松使用和。 请检查您MySQL版本的文档。 在MySQL 5.5中添加了MySQL的空间数据扩展，但在5.6和5.7中更改了许多空间功能。 版本号 1.xx ：MySQL 5.6（还支持MySQL 5.5，...
graphormer 代码阅读
m0_47163076的博客
10-15 3071
看论文 论文中找到github代码连接 一开始论文刚发表时代码是没有公布的，后来过了一两个月才发布 运行他的代码 https://hub.xn–gzu630h.xn–kpry57d/microsoft/Graphormer github链接 下载到服务器上运行 进行环境准备和所需要的包安装时遇到问题：主要是torch-geometric的安装问题 最终解决方案是将下图中的最后两步换掉 安装torch按照pytorch官网步骤来，这里我的cuda版本是11.4，所以我安装了最新版本，1.9.1，使用conda
GraphFormers 开源项目教程
最新发布
gitblog_00851的博客
09-14 580
GraphFormers 开源项目教程 GraphFormers 项目地址: https://gitcode.com/gh_mirrors/gr/GraphFormers ...
Graphormer 的理解、复现及应用——理解
热门推荐
GSM_GSM的博客
07-12 1万+
Transformer 在NLP和CV领域取得颇多成就，近期突然杀入图神经网络竞赛，并在OGB Large-Scale Challenge竞赛中取得第一名的成绩。 Graphormer作为实现算法实现的主要架构，已经在Do Transformers Really Perform Bad for Graph Representation?（https://arxiv.org/abs/2106.05234）进行了详细的介绍。本博文主要是在讲解翻译一下该文章的基础上加入一些博主自己的理解，并对Graphorm.
Graphormer
zsycode的博客
08-02 930
本文思考如何将Transformer的主体结构应用到图结构数据上。 作者认为将Transformer应用到图上最关键问题是如何适合地将图的结构信息整合到模型之中。自注意力机制只计算了节点和其他节点的语义相似性，而没有考虑图上节点的结构信息和节点对之间的关系。 作者采用了如下三种方式对结构信息进行编码 Centrality Encoding 中心性编码，用来衡量节点的重要性，通过节点的入度和出度来得到中心性编码 ​是基于入度和出度的可学习向量，如果是无向图，则出度等于入度。将..
论文笔记-graphormer
chenxino的博客
09-20 978
transformer在图表征中的运用。
Ontop-Spatial：地理空间数据库之上-研究论文
06-10
我们的方法已在系统 Ontop-spatial 中实现，这是 OBDA 系统 Ontop 的扩展，用于在地理空间关系数据库之上创建虚拟地理空间 RDF 图。 我们使用和扩展了最先进的基准对我们的系统进行了实验评估。 为了衡量我们系统的...
xarray-spatial:适用于Python的基于栅格的空间分析
04-20
Xarray-Spatial使用Numba实现了常见的栅格分析功能，并提供了易于安装，易于扩展的代码库来进行栅格分析。 安装 # via pip pip install xarray-spatial # via conda conda install -c conda-forge xarray-spatial ...
lucene-spatial-extras-7.2.1-API文档-中英对照版.zip
07-12
赠送源代码：lucene-spatial-extras-7.2.1-sources.jar； 赠送Maven依赖信息文件：lucene-spatial-extras-7.2.1.pom； 包含翻译后的API文档：lucene-spatial-extras-7.2.1-javadoc-API文档-中文(简体)-英语-对照版....
lucene-spatial-extras-7.3.1-API文档-中英对照版.zip
06-12
赠送源代码：lucene-spatial-extras-7.3.1-sources.jar； 赠送Maven依赖信息文件：lucene-spatial-extras-7.3.1.pom； 包含翻译后的API文档：lucene-spatial-extras-7.3.1-javadoc-API文档-中文(简体)-英语-对照版....
Graphormer:这是“变形金刚对图形表示真的很糟糕吗？”的官方实现。
07-24
绘图员 ,,,*,,*,,. 这个 repo 是的官方实现。 . 更新 06/10/2021 初始提交： 许可证文件和示例代码。 介绍 Graphormer最初是在描述的，它是一个标准的 Transformer 架构，具有多种结构编码，可以有效地将图的结构信息编码到模型中。 Graphormer 在 PCQM4M-LSC（ 0.1234 MAE ）、MolPCBA（测试值为31.39 AP(%) )、MolHIV（测试值为80.51 AUC(%) ）和 ZINC（测试值为0.122 MAE on test 80.51 AUC(%)上取得了强劲的性能，比之前的模型高出一倍大保证金。 主要结果 引用 Graphormer @article{ying2021transformers, title={Do Transformers Really Perform Bad for Gr
Graphormer 开源项目使用教程
gitblog_00071的博客
08-08 460
Graphormer 开源项目使用教程 项目地址:https://gitcode.com/gh_mirrors/gr/Graphormer 1. 项目的目录结构及介绍 Graphormer 项目的目录结构如下： Graphormer/ ├── docs/ ├── examples/ ├── fairseq @ 98ebe4f/ ├── graphormer/ ├── .gitignore ├── ...
公开催化剂挑战赛冠军模型、通用AI分子模拟库Graphormer开源！
微软技术栈
10-20 694
新一代对图（Graph）数据进行建模的深度学习模型
Transformer再下一城！MSRA提出用于图结构数据的Graphormer！斩获OGB-LSC图预测赛道冠军...
阿木寺的博客
06-21 1016
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：微软研究院AI头条编者按：在刚刚结束的由 KDD Cup 2021 和 Open Graph Benchma...
图形变换器在PyTorch几何中的实现：Graphormer-PYG指南
gitblog_00673的博客
09-02 581
图形变换器在PyTorch几何中的实现：Graphormer-PYG指南 graphormer-pygMicrosoft Graphormer rewritten in PyTorch-Geometric项目地址:https://gitcode.com/gh_mirrors/gr/graphormer-pyg 项目介绍 Graphormer-PYG 是一个基于 PyTorch Geometri...
Graphormer（图上Transformer） Do Transformers Really Perform Bad for Graph Representation？
tagagi的博客
11-26 2174
这个模型是KDD Cup 2021 OGB-LSC（Open Graph Benchmark Large-Scale Challenge）图预测赛道第一名： KDD Cup 2021 | 微软亚洲研究院Graphormer模型荣登OGB-LSC图预测赛道榜首 论文地址： https://arxiv.org/abs/2106.05234 论文代码： https://github.com/Microsoft/Graphormer 内容：提出了图上的Transformer，命名为Graphorm...
【图-注意力笔记，篇章2】Graphormer 和 GraphFormers论文笔记之两篇经典Graph Transformer来入门
xiaobaizaza_Ry的博客
03-02 7452
Graphormer和GraphFormer论文的相关介绍及笔记
能写一段Spectral-Spatial Convolution的代码吗
03-28
抱歉，作为AI语言模型，我无法编写代码。但是，我可以解释Spectral-Spatial Convolution的原理和应用。 Spectral-Spatial Convolution是一种常用于图像和遥感图像处理的卷积神经网络（CNN）层。它结合了空间信息和频谱信息，将空间域和频域信息相互作用，从而可以更有效地提取图像特征。 在Spectral-Spatial Convolution中，每个卷积核包含两部分：空间卷积核和频谱卷积核。对于每个像素，空间卷积核在空间上滑动，频谱卷积核在频谱上滑动，两者在空间域和频域上的输出相互作用，得到最终的卷积结果。 以下是一个示例代码，展示了如何在PyTorch中实现Spectral-Spatial Convolution层： ``` import torch import torch.nn as nn import torch.nn.functional as F class SpectralSpatialConv(nn.Module): def __init__(self, in_channels, out_channels, kernel_size): super(SpectralSpatialConv, self).__init__() self.spatial_conv = nn.Conv2d(in_channels, out_channels, kernel_size) self.fft = torch.fft.fftn self.ifft = torch.fft.ifftn self.kernel_size = kernel_size self.out_channels = out_channels self.in_channels = in_channels self.weight = nn.Parameter(torch.Tensor(out_channels, in_channels, kernel_size, kernel_size)) self.reset_parameters() def reset_parameters(self): nn.init.kaiming_uniform_(self.weight, a=math.sqrt(5)) def forward(self, x): # Perform spatial convolution spatial_output = self.spatial_conv(x) # Perform spectral convolution fft_input = self.fft(x, dim=[2,3]) fft_kernel = self.fft(self.weight, dim=[2,3]) fft_output = torch.matmul(fft_input, fft_kernel) spectral_output = self.ifft(fft_output, dim=[2,3]).real # Combine spatial and spectral outputs output = spatial_output + spectral_output return output ``` 在这个例子中，我们定义了一个SpectralSpatialConv类，它继承了nn.Module类。在__init__方法中，我们定义了空间卷积和频谱卷积的卷积核，并初始化了权重。在forward方法中，我们首先进行空间卷积，然后进行频谱卷积，并将两个输出相加，得到最终的输出。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值