graphormer 代码阅读

最新推荐文章于 2024-05-14 14:21:23 发布
最新推荐文章于 2024-05-14 14:21:23 发布
阅读量2.9k 收藏 4
点赞数 1
分类专栏： 图神经网络 文章标签： pytorch 深度学习 1024程序员节
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_47163076/article/details/120781511
版权

看论文

论文中找到github代码连接

一开始论文刚发表时代码是没有公布的，后来过了一两个月才发布

运行他的代码

https://hub.xn–gzu630h.xn–kpry57d/microsoft/Graphormer
github链接

下载到服务器上运行

进行环境准备和所需要的包安装时遇到问题：主要是torch-geometric的安装问题
最终解决方案是将下图中的最后两步换掉
安装torch按照pytorch官网步骤来，这里我的cuda版本是11.4，所以我安装了最新版本，1.9.1，使用conda 安装
安装torch-geometric是去官方的github上面 ：https://hub.xn–gzu630h.xn–kpry57d/microsoft/Graphormer 安装对应torch版本的torch-geometric，第一次尝试，我使用conda 来安装，安装失败，不知道为什么。第二次询问师姐后，采用wheel(pip)安装，安装成功。

在这里插入图片描述

阅读代码

发现代码是用pytorch_lighting写的,我在看的过程中看不懂,因此去b站学习了这个,但是在阅读代码过程中我还是得去看pytorch_lighting的源码,可能是因为我比较笨吧.
最后看了源码也看不懂代码,索性从另一个方向切入,去学习了一下,dgl和pyg,主要其实是想看看他们是如何存储graph数据的.
学习过程中还了解到了点云数据,深度传感器这个很酷的研究领域.

2021年10月24日 21点22分 好困,不卷了,回去睡觉.

小结:不希望能完事顺利,只希望即使诸事不顺依然开心快乐,有迎接困难与挑战的勇气.

m0_47163076
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
专栏目录
Graphormer:这是“变形金刚对图形表示真的很糟糕吗？”的官方实现。
07-24
绘图员 ,,,*,,*,,. 这个 repo 是的官方实现。 . 更新 06/10/2021 初始提交： 许可证文件和示例代码。 介绍 Graphormer最初是在描述的，它是一个标准的 Transformer 架构，具有多种结构编码，可以有效地将图的结构信息编码到模型中。 Graphormer 在 PCQM4M-LSC（ 0.1234 MAE ）、MolPCBA（测试值为31.39 AP(%) )、MolHIV（测试值为80.51 AUC(%) ）和 ZINC（测试值为0.122 MAE on test 80.51 AUC(%)上取得了强劲的性能，比之前的模型高出一倍大保证金。 主要结果 引用 Graphormer @article{ying2021transformers, title={Do Transformers Really Perform Bad for Gr
图注意力机制PPT-FRyan制作
05-09
通过阅读GATNE的论文笔记，我们可以深入理解如何在异构图环境中有效地学习节点嵌入，以及如何利用属性信息来增强嵌入的表达能力。这些笔记通常会涵盖模型架构、训练方法、实验结果和实际应用。 总的来说，图注意力...
Graphormer 的理解、复现及应用——理解
热门推荐
GSM_GSM的博客
07-12 1万+
Transformer 在NLP和CV领域取得颇多成就，近期突然杀入图神经网络竞赛，并在OGB Large-Scale Challenge竞赛中取得第一名的成绩。 Graphormer作为实现算法实现的主要架构，已经在Do Transformers Really Perform Bad for Graph Representation?（https://arxiv.org/abs/2106.05234）进行了详细的介绍。本博文主要是在讲解翻译一下该文章的基础上加入一些博主自己的理解，并对Graphorm.
【附论文PDF+代码地址】GNN-Transformer新突破！全局与局部的完美融合
最新发布
yyyyyybw的博客
05-14 639
这类结合不仅能够让两者发挥各自的优势，还能推动模型的创新，提高处理图数据的效率和性能。具体点讲，通过利用Transformer，我们可以扩展GNN的感受野，包括那些距离中心节点较远的相关节点。相对的，GNN也可以帮助Transformer捕捉复杂的图拓扑信息，并从相邻区域高效地聚合相关节点。目前，，这其中有不少个人认为很值得学习的成果。比如GNN 嵌套 Transformer 模型、仅使用一层全局注意力的简化图Transformer模型。本文挑选了。
Graphormer复现碎碎念
guanjian6334的博客
05-23 2366
一：简介 Graphormer：https://github.com/microsoft/Graphormerhttps://github.com/microsoft/Graphormer 二、安装 使用./install.sh安装，前面是pip直接安装whl依赖，而fairseq该工具还没有集成自whl，因此是在fairseq目录下复制fairseq的git，再编译集成。 我在使用下面的安装命令时（用于安装fairseq）报错了，报错为：option --use-feature: invalid
Graphormer跑数据和踩坑记录
Algabeno的博客
09-04 795
pip版本太低，需要更新pip install --upgrade pip。将这些图和标签列表组合成一个单一的DGL数据集对象。使用自己的数据转化成与QM9数据集类似的数据结构。读取CSV文件，创建DGL图和标签列表。版本问题，需要更新到python3.9。出现这个就把num_class设为2。不过后面还是不行，就没用预训练模型。
Graphormer代码解读-spatial pos
kongbaifeng的博客
03-01 1314
Graphormer
论文笔记-graphormer
chenxino的博客
09-20 912
transformer在图表征中的运用。
Transformer杀疯了！竟在图神经网络的ImageNet大赛中夺冠，力压DeepMind、百度.........
阿木寺的博客
06-19 928
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：AI科技评论AI科技评论报道作者 | 陈大鑫AI圈可太 TM 魔幻了！就在昨天刚结束的KDD Cup 202...
Graphormer（图上Transformer） Do Transformers Really Perform Bad for Graph Representation？
tagagi的博客
11-26 2043
这个模型是KDD Cup 2021 OGB-LSC（Open Graph Benchmark Large-Scale Challenge）图预测赛道第一名： KDD Cup 2021 | 微软亚洲研究院Graphormer模型荣登OGB-LSC图预测赛道榜首 论文地址： https://arxiv.org/abs/2106.05234 论文代码： https://github.com/Microsoft/Graphormer 内容：提出了图上的Transformer，命名为Graphorm...
公开催化剂挑战赛冠军模型、通用AI分子模拟库Graphormer开源！
微软技术栈
10-20 615
新一代对图（Graph）数据进行建模的深度学习模型
Graph-FPN代码解读（3）
weixin_45935290的博客
03-28 143
对于非布尔型张量，非0的元素都判为True。tf.where还有一个用法：tf.where(input, a,b)，其中a，b均为尺寸一致的tensor，实现a中对应input中true的位置的元素值不变，其余元素由b中对应位置元素替换。最后进行loss的相加，tf.reduce_sum()作用是按一定方式计算张量中元素之和，axis指定按哪个维度进行加和，默认将所有元素进行加和。通过这个函数，我们原本一维的向量维度变为了80维，与特征向量相符合，同时取出原本总向量的后80维，作为分类任务的特征向量。
【Graphormer阅读笔记、实验与刷榜】《Do Transformers Really Perform Bad for Graph Representation?》
智慧的旋风的博客
08-09 4489
Graphormer阅读笔记——chx paper：https://arxiv.org/abs/2106.05234 code：https://github.com/microsoft/Graphormer （main分支） Graphormer主要策略 1. Transformer结构 主要有Transformer layer组成，每一层包括MHA（多头自注意）和FFN（前馈）模块，并增加了LN。 h′(l)=MHA(LN(h(l−1)))+h(l−1)h(l)=FFN(LN(h′(l)))+h′(
Transformer再下一城！MSRA提出用于图结构数据的Graphormer！斩获OGB-LSC图预测赛道冠军...
阿木寺的博客
06-21 954
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：微软研究院AI头条编者按：在刚刚结束的由 KDD Cup 2021 和 Open Graph Benchma...
Graphormer
zsycode的博客
08-02 887
本文思考如何将Transformer的主体结构应用到图结构数据上。 作者认为将Transformer应用到图上最关键问题是如何适合地将图的结构信息整合到模型之中。自注意力机制只计算了节点和其他节点的语义相似性，而没有考虑图上节点的结构信息和节点对之间的关系。 作者采用了如下三种方式对结构信息进行编码 Centrality Encoding 中心性编码，用来衡量节点的重要性，通过节点的入度和出度来得到中心性编码 ​是基于入度和出度的可学习向量，如果是无向图，则出度等于入度。将..
论文阅读《Do Transformers Really Perform Bad for Graph Representation?》
m0_71014828的博客
06-11 569
论文标题：Do Transformers Really Perform Bad for Graph Representation? 论文作者：Chengxuan Ying, Tianle Cai, Shengjie Luo,Shuxin Zheng, Guolin Ke, Di He, Yanming Shen, Tie-Yan Liu 论文来源： 2021，NeurIPS 论文地址：download 论文代码：download我们对在图中使用Transformer的关键见解是必须将图的结构信息有效地编码到
图(Graph)的常用代码集合
Steve Wang's blog
05-12 3663
图的相关概念请查阅离散数学图这一章或者数据结构中对图的介绍。代码来自课本。/*Graph存储结构*/ //邻接矩阵表示法 #define MAX_VERTEX_NUM 20 /*最多顶点个数*/ #define INFINITY 32768 /*表示极大值，即∞*//*图的种类：DG表示有向图，DN表示有向网，DUG表示无向图，UDN表示无向网*/ typedef enum {DG
cython学习
m0_47163076的博客
10-29 98
github源码 官方文档 完蛋,看了半天学不会! 哎! 好像cython的语法就是c 然后我去学习了一下c 学到指针, 啊!好难,但是还是知道了一点东西的. 尴尬的是最后看懂graphormer中的弗洛伊德算法主要还是靠对于弗洛伊德算法核心的理解 ...
graphormer代码运行
07-25
很抱歉，我无法直接运行代码。Graphormer的代码可以在作者的GitHub页面上找到。你可以访问该页面（https://github.com/Graphormer/Graphormer）以获取代码和相关文档。在运行代码之前，请确保你已经安装了所需的依赖项，并按照文档中的说明进行设置和配置。如果你遇到任何问题，可以参考GitHub页面上的文档或与作者进行联系以获取帮助。希望这对你有所帮助！ #### 引用[.reference_title] - *1* *2* *3* [Graphormer 的理解、复现及应用——理解](https://blog.csdn.net/GSM_GSM/article/details/118490361)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值