pytorch学习笔记十二：和GPU有关的基本操作以及如何创建支持多个GPU数据并行的模型

最新推荐文章于 2024-04-02 17:29:53 发布
最新推荐文章于 2024-04-02 17:29:53 发布
阅读量1.7k 收藏
点赞数
分类专栏： # PyTorch学习笔记 文章标签： 深度学习 python 人工智能 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39507748/article/details/108094539
版权
本文介绍了PyTorch中与GPU相关的基础操作，包括查看GPU信息、张量在GPU和CPU间的移动以及如何将模型移到GPU上。此外，详细讲解了如何创建支持多个GPU数据并行的模型，特别强调了在多GPU环境下模型的保存与加载的正确方法，以避免结构不匹配的错误。
摘要由CSDN通过智能技术生成
一、GPU有关的基本操作
import torch 
from torch import nn

1，查看gpu信息

if_cuda = torch.cuda.is_available()
print("if_cuda=",if_cuda)

gpu_count
了解本专栏 订阅专栏 解锁全文 超级会员免费看
耐心的小黑
关注
专栏目录
订阅专栏
Pytorch实战总结篇之使用GPU训练模型
Miracle8070
10-06 2万+
1. 写在前面 这段时间一直在持续学习Pytorch， 也大约整理了20篇左右的笔记， 主要包括系统学习Pytorch的10篇， 这里面主要是从原理的层次看Pytorch的运行机制， 一方面是可以大致上对学习Pytorch有一个整体的框架， 另一方面是能理解很多知识的背后原理， 然后是Pytorch的入门与实战8篇， 这里面是使用Pytorch进行一些实战任务， 从图像到语音， 大致上可以知道Pytorch在各个领域是怎么发挥作用的， 但是经过前面的这些文章， 可能依然无法把Pytorch运用起来， 第一个
pytorch利用多个GPU并行计算
Answer3664的博客
08-09 1万+
参考： https://pytorch.org/docs/stable/nn.html https://github.com/apachecn/pytorch-doc-zh/blob/master/docs/1.0/blitz_data_parallel_tutorial.md 一、 torch.nn.DataParallel torch.nn.DataParallel(module,d...
pytorch多GPU计算
我亦是行人
01-02 1020
pytorch多GPU计算 如果正确安装了NVIDIA驱动，我们可以通过在命令行输入nvidia-smi命令来查看当前计算机上的全部GPU 定义一个模型： import torch net = torch.nn.Linear(10, 1).cuda() net output: Linear(in_features=10, out_features=1, bias=True) 要想使用PyTorch进行多GPU计算，最简单的方法是直接用torch.nn.DataParallel将模型wrap一下即可： n
多块GPU并行计算 pytorch
小幸运
09-16 1096
1. 指明要是用的GPU import os os.environ["CUDA_VISIBLE_DEVICES"]="0,1,3" 上述代码说明，给本程序分配了编号“0，1，3”的三块GPU可供使用 PS： 本机必须是有上述声明的显卡，否则在使用时会出错 RuntimeError: cuda runtime error (38) : no CUDA-capable device is detected at ..\aten\src\THC\THCGeneral.cpp...
pytorch使用GPU
tz的博客
11-28 1万+
pytorch使用单机单卡，单机多卡，多机多卡GPU的应用总结
Device id must be less than GPU count, but received id is: 0. GPU count is: 0
最新发布
TF666666的博客
04-02 833
在ubuntu20.04中也安装了nvidia-docker，cuda11.2以及对应的cudnn，这是因为docker镜像里面没有适配好nvidia的驱动，具体那个驱动我不知道。网上的解决方案一大堆，各不相同，并且也无法解决，NVIDIA已经给了对用的解决方案，只是搜索报错信息搜不到而已。下载安装 nvidia-container-runtime-script.sh即可。那证明您还有没有安装NVIDIA Container Runtime。在docker 运行的时候添加–gpus即可。
pytorch学习笔记（6）：GPU和如何保存加载模型
u013602059的专栏
07-22 1896
参考文档：https://mp.weixin.qq.com/s/kmed_E4MaDwN-oIqDh8-tg 上篇文章我们完成了一个 vgg 网络的实现，那么现在已经掌握了一些基础的网络结构的实现，距离一个入门炼丹师还有两个小问题需要注意一下：GPU 和保存模型。 提起炼丹大家经常可以听到显卡如何如何的，也就是 GPU 在炼丹的过程中起到重要的作用。另一方面，训练了一个模型后，我们肯定要用它来进行一些预测，前面的代码中都是将训练好的模型直接进行预测，但是如果代码每次预测都要训练一次岂不是麻烦死了，所以将训练
[PyTorch 学习笔记] 7.3 使用 GPU 训练模型
张贤的博客
09-19 896
本章代码： https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson7/cuda_use.py https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson7/multi_gpu.py 这篇文章主要介绍了 GPU 的使用。 在数据运算时，两个数据进行运算，那么它们必须同时存放在同一个设备，要么同时是 CPU，要么同时是 GPU。而且数据和模型都要在同一个设备.
笔记pytorch学习笔记
07-20
【PyTorch学习笔记概述】 PyTorch是Facebook开源的一款深度学习框架，它以其灵活性、易用性和强大的计算能力在学术界和工业界都受到了广泛的欢迎。本笔记将基于B站牛二大人的讲解，深入探讨PyTorch的核心概念、基本...
PyTorch学习笔记（五）使用GPU训练模型
longrootchen的博客
05-09 1097
本文记录了在 PyTorch 中使用 GPU 训练模型的方法。
Pytorch使用GPU训练模型加速
人工智能视觉分析算法学习实践和经验分享。
11-03 9165
Pytorch使用GPU训练模型加速 深度学习神经网络训练经常很耗时，耗时主要来自两个部分，数据准备和自参数迭代。 当数据准备是主要耗时原因时，采用多进程准备数据。当迭代过程是训练耗时主力时，采用GPU加速。 需要了解GPU信息： 提示：默认环境配置完成 1. 查看设备GPU信息 import torch from torch import nn # 查看gpu信息 cudaMsg = torch.cuda.is_available() gpuCount = torch.cuda.device_coun
pytorch中GPU数据常见的数据操作
dlvector的博客
09-28 671
x.data 与 x.detach() 返回的 tensor : 相同: 都和 x 共享同一块数据 都和 x 的 计算历史无关 requires_grad = False 不同: y=x.data 在某些情况下不安全, 某些情况, 指的就是 上述 inplace operation 的第二种情况 .detach()，从反向传播图中切割出来，不参与反向传播。但是会参与前向计算，因为储存空间共享。 .cpu().item() 标量可以这样提取数值。 .cpu().detach().numpy()，使用nu.
Pytorch基础操作 —— 2.数据与模型在CPU与GPU之间的拷贝与传递
老程的技术笔记
10-06 5786
文章目录基础操作 —— GPU 与 CPU 对 Tensor 的拷贝 基础操作 —— GPU 与 CPU 对 Tensor 的拷贝 首先不是所有的电脑都有GPU，我们这里的GPU是要强调，必须是 Nvidia 家的显卡，所以你无论是Intel的独显，还是AMD家的独显，都没法使用到以下的特性加速你的计算过程，那就更不要提什么核显这种了。 首先我们创建一个张量 import torch tensor = torch.randn(4, 5) 它的输出值可能是： tensor([[-0.7282, 0.4
Pytorch模型转onnx、caffe、TorchScript通用代码，onnx模型推理
zengwb的博客
09-20 2781
前言 训练好的模型需要移植到ncnn、mnn、tensorrt、tnn、openvino等前向推理框架上部署 一、模型转onnx 不管是tensorflow、pytorch、mxnet部署时移植到目标框架，那么先将模型转成onnx这个中间商，再转成目标框架或NPU是明智的选择。 二、使用步骤 1.转成onnx示例代码 model = MobileFaceNet() model.load_state_dict(torch.load('my_model.pth', map_location='cpu')) mo
大数据项目学习（一）
qq_43072699的博客
10-15 5015
采集：Flume/Kafka/Sqoop 存储：Mysql/Hasoop/Hbase 计算：Hive/Tez 查询：Presto/Druid/Kylin 可视化：Superset 任务调度：Azkaban全流程调度 集群监控：Zabbix 元数据管理：Atlas 脚本：Shell 数据仓库 业务数据：在处理事务过程中产生的数据（存储在mysql中，用Sqoop处理到数据仓库中） 用户行为数据：用户与客户端产品交互过程中产生的数据，比如页面浏览、点击、停留等（日志 以文件形式存储，用Flume处理到数据仓库中
Pytorch模型中同时定义多个可训练的单变量
John's Blogs
08-05 2643
定义多个可训练的尺度权重系数 import torch from torch import nn class Scale(nn.Module): def __init__(self, init_value=1.0): super(Scale, self).__init__() self.scale = nn.Parameter(torch.FloatTensor([init_value])) def forward(self, input):
pytorch使用记录（三） 多GPU训练
热门推荐
daydayjump的博客
07-22 5万+
  在具体使用pytorch框架进行训练的时候，发现实验室的服务器是多GPU服务器，因此需要在训练过程中，将网络参数都放入多GPU中进行训练。    正文开始：    涉及的代码为torch.nn.DataParallel，而且官方推荐使用nn.DataParallel而不是使用multiprocessing。官方代码文档如下：nn.DataParallel   教程文档如下：tutorial...
pytorch 如何将张量、类实例、函数放到GPU上
wzg2016的博客
07-22 1万+
调用“.cuda()”函数，将tensor从GPU中取回到CPU中，只需调用“.cpu()”即可 直接看代码： import torch import torch.nn as nn import copy class MyClass(nn.Module): def __init__(self,para1,para2): super(MyClass,self).__i...
PyTorch深度学习：高效利用GPU实战指南
"本文主要探讨了Pytorch如何高效地利用GPU进行深度学习计算，强调了GPU在处理大规模并行计算中的优势，并提供了Pytorch中使用GPU的基本操作方法，包括检查GPU可用性、获取GPU数量以及将数据转移至GPU的技巧。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

耐心的小黑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值