Pytorch及torch-geometric近期问题小结

最新推荐文章于 2023-12-11 21:30:23 发布
最新推荐文章于 2023-12-11 21:30:23 发布
阅读量379 收藏
点赞数
分类专栏： 代码学习 文章标签： 图嵌入 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45520982/article/details/116330060
版权
本文总结了在使用PyTorch和torch-geometric进行图项目开发时遇到的问题，包括多输入模型构建、数据类型转换、维度调整、 EarlyStopping实现，以及torch-geometric与networkx之间的转换和GCN训练的注意事项。
摘要由CSDN通过智能技术生成

目录

近期问题小结

在AFP的Graph项目上碰到的问题小结

Pytorch相关

  • 如何进行多输入的模型构建，以双塔模型为例
  • 导入模型之前，数据需要转换为torch.tensor。不能是numpy数组
  • 在构建torch模型的时候，需要注意传入数据的类型，一般要改成float32，aka float。传入数据类型需要和模型中参数类型一致
  • cosine_similarity函数需要传入多维tensor。一维的tensor会报错，需要修改为[1,-1]。cosine_similariry的两个tensor，其中一个可以是行向量，另一个可以是多行向量。比如，[1,128]和[100,128]，返回100维的cosine_similariry。
  • torch改变tensor的维度，可以使用reshape或者view。二者区别见博客。建议使用reshape
  • torch.utils.data和torch.utils.data.Dataloader用于batch计算。如果模型是只有nn.Module堆叠的情况，一般不需要对模型进行修正。如果模型有一些自定义层和自定义计算步骤，需要对其shape进行修改。尤其需
最低0.47元/天 解锁文章
柚木蓝
关注
专栏目录
torch_geometric 加torch tensorvion 配置使用
12-31 1697
具体的包在我的资源下载中、、、、（楼主对象是大美女 ） 版本单反有一点错误都无法运行！！！！！！！！！！！！！！！！ 1、清华镜像 https://pypi.tuna.tsinghua.edu.cn/simple/ 2、Unofficial Windows Binaries for Python Extension Packages 【whl】https://www.lfd.uci.edu/~gohlke/pythonlibs/#cvxopt 3、pytorch 【官网】...
【PyTorch基础教程30】DSSM双塔模型（线上召回 | 模型更新）
发现问题，并解决问题，批判性思维
06-22 2505
召回中，一般的训练方式分为三种：point-wise、pair-wise、list-wise。用参数`mode`来指定训练方式，每一种不同的训练方式也对应不同的Loss。 对应的三种训练方式可以参考下图（3种），其召回中，一般的训练方式分为三种：point-wise、pair-wise、list-wise。在datawhale的RecHub中，用参数`mode`来指定训练方式，每一种不同的训练方式也对应不同的Loss。.................................
torch_geometric mini batch 的那些事
冬炫的博客
06-09 1948
torch_geometric mini batch 的那些事
PyTorch Geometric 一个几何深度学习库
weixin_43430736的博客
06-28 2488
这里写自定义目录标题GNN动机GN框架 GNN GNN图神经网络可能解决深度学习中无法进行的因果推理关系。 第一次描述图结构是在09年The graph neural network model (Scarselli, F., et al., 2009) [1] 这篇论文中提出。 GNN喂入的是图，是非欧氏数据。目标是学习到结点的邻居的状态嵌入(有可能是结点标记)，用于节点分类。用于处理不规则结构...
解决深度学习训练每次结果不同
zhangqiqiyihao的博客
06-03 4493
1.在验证和测试代码时加入 model.eval() 可以打开验证开关，关闭所有的dropout等。但是在返回到训练时需要再次加入 model.train() 之前的训练中做了这个操作每次的测试结果就会保证一致。后来不知道发生了什么又不能一致了 再加入种子 2.加入seed torch.manual_seed(seed) torch.cuda.manual_seed(seed) torch.cuda.manual_seed_all(seed) # if you are using multi-GPU.
关于使用torch.Tensor将列表转为tensor时报错的问题
学习日常
01-28 3517
因为我在读取数据，并导入神经网络的过程中，需要将列表 datalist = [ ] 转换为 tensor 张量。 因此我百度了很多，常见的就是： datalist = [1, 2, 3, 4] datatensor = torch.Tensor(datalist) print(datatensor) 但是这个时候报错了 于是我将代码修改如下： datalist = [1, 2, 3, 4] datatensor = torch.tensor(datalist) print(datatensor
Pytorch geometric中SparseTensor所包含的COO、CSR、CSC稀疏矩阵存储方式介绍
Johnsonjjj的博客
07-22 1397
Pytorch geometric中SparseTensor的三种稀疏矩阵压缩存储方式COO、CSR、CSC介绍
torch-geometric==1.7.2安装
01-17
torch_spline_conv-1.2.1-cp38-cp38-linux_x86_64.whl torch_sparse-0.6.9-cp38-cp38-linux_x86_64.whl torch_scatter-2.0.7-cp38-cp38-linux_x86_64.whl ...然后pip install torch-geometric==1.7.2
Windows 10下安装GPU版pytorch和torch-geometric
hust.cm&math.xyn
05-12 1181
Windows 10下安装GPU版pytorch和torch-geometric
pytorch安装torch-geometric
08-19
要安装torch-geometric，您需要先安装PyTorch和torch-scatter、torch-sparse和torch-cluster这些依赖项。请按照以下步骤进行安装： 1. 确保您已经安装了PyTorch。您可以根据您的操作系统和CUDA版本选择适合您的...
安装GNN-Pytorch-geometric必备的四个包！torch-geometrivc.rar
11-18
本教程将详细介绍在安装GNN-Pytorch-geometric时需要的四个关键包：torch_cluster、scatter、sparse以及spline_conv。 1. **torch_cluster** `torch_cluster` 是PyG的一个子模块，提供了各种图聚类和图采样算法，...
torch_geometric 使用 batch
最新发布
momo的博客
12-11 1649
torch.geometric的batch不支持CNN中广泛使用的batch维度。CNN中使用batch的数据具有。基于torch.geometric的data具有node和edge的特征，其中node的维度表示为。中起始点和终点的index都必须小于nodes的个数（因为默认从0开始）将数据转换成Batch格式，或者手动将node concate成。与GCNConv, SAGEConv不同的是，当使用。，edge_index concate成。，edge的维度表示为。
DSSM双塔模型及pytorch实现
简之的通向技术之路
06-20 1万+
本文介绍用于商业兴趣建模的 DSSM 双塔模型。作为推荐领域中大火的双塔模型，因为效果不错并且对工业界十分友好，所以被各大厂广泛应用于推荐系统中。 通过构建 user 和 item 两个独立的子网络，将训练好的两个“塔”中的 user embedding 和 item embedding 各自缓存到内存数据库中（redis）。线上预测的时候只需要在内存中计算相似度运算即可。DSSM 双塔模型是推荐领域不中不得不会的重要模型。 以 YouTube 视频推荐系统为例，一般推荐系统包括两个部分： 第一步是召回模
用PyTorch_Geometric都能踩到什么坑?
m0_37525990的博客
04-02 757
用PyTorch_Geometric都能踩到什么坑? 最近在打KDD2021,重新安装了下PYG OGB数据的要求是装master版本的PYG 找了whl文件安装后发现跑不通baseline 出现了如下错误, AttributeError: module ‘torch_geometric.utils’ has no attribute ‘scatter_’ pip install torch-geometric==1.4.3 尝试把torch-geometric退回到1.4.3版本 TypeError:
第十六课.Pytorch-geometric入门(一)
白景屹的博客
09-05 6921
目录PyG安装图结构基础基准数据集Mini-Batches构建GCN PyG安装 Pytorch-geometric即PyG，是一个基于pytorch的图神经网络框架。其官方链接为：PyG 在安装PyG之前，我们需要先安装好pytorch，建议使用更高版本的pytorch，比如 pytorch1.9.x + cuda11.1，然后使用pip安装，对于windows系统，我们可以做以下操作： pip install torch-scatter torch-sparse torch-cluster torch-
Pytorch训练过程出现nan
我的博客有点东西
08-21 2万+
今天使用shuffleNetV2+，使用自己的数据集，遇到了loss是nan的情况，而且top1精确率出现断崖式上升，这显示是不正常的。 在网上查了下解决方案。我的问题是出在学习率上了。 我自己做的样本数据集比较小，就三类，每类大概三百多张，初始学习率是0.5。后来设置为0.1就解决了。 按照解决方案上写的。出现nan的情况还有以下几种： 学习率太大，但是样本数据集又很小。...
图神经网络 PyTorch Geometric 入门教程
张贤的博客
08-14 4837
简介 Graph Neural Networks 简称 GNN，称为图神经网络，是深度学习中近年来一个比较受关注的领域。近年来 GNN 在学术界受到的关注越来越多，与之相关的论文数量呈上升趋势，GNN 通过对信息的传递，转换和聚合实现特征的提取，类似于传统的 CNN，只是 CNN 只能处理规则的输入，如图片等输入的高、宽和通道数都是固定的，而 GNN 可以处理不规则的输入，如点云等。 可查看【GNN】万字长文带你入门 GCN。 而 PyTorch Geometric Library (简称 PyG) 是一个
[PyG] 1.如何使用GCN完成一个最基本的训练过程(含GCN实现)
热门推荐
g11d111的博客
04-14 2万+
0. 前言 为啥要学习Pytorch-Geometric呢？(下文统一简称为PyG) 简单来说，是目前做的项目有用到，还有1个特点，就是相比NYU的DeepGraphLibrary, DGL的问题是API比较棘手，而且目前没有迁移的必要性。 图卷积框架能做的事情比较多，提供了很多方便的数据集和各种GNN SOTA的实现，其实最吸引我的就是这个framework的API比较友好，再加之使用PyG做项...
pytorch 测试时出现nan值？
Koyurion的博客
09-07 2900
使用pytorch进行神经网络实验。写好代码，想做一下测试，于是使用数据量较少(5条)，且全为[0,1] 1） 5折交叉验证时，训练时不会有出现 nan的情况 2） 训练集 测试时也不会出现， 3） 但是当测试集进行测试的时候，就会出现 nan。 4） 查阅其原始变量，皆非nan 5）将测试集与训练集合并测试时，也会出现 nan 的情况 当将数据提升到10，20时仍会出现。但提升到100后，情况正常。学习率:10^-4,L2: 10^-4. 这是为啥啊？ ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值