关于model.to(‘cuda‘)的一个小问题

最新推荐文章于 2024-03-19 11:14:18 发布
最新推荐文章于 2024-03-19 11:14:18 发布
阅读量2.2k 收藏
点赞数
分类专栏： 机器学习 文章标签： 深度学习 自然语言处理 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yrk0556/article/details/120208803
版权


刚刚遇到一个问题，这个模型里面的pretrained_word_embedding是保存在内存中的，但是这个模型是放在GPU中的，这样不是不行么，怎么会有这种操作？

后来发现是，即使这个embedding原本在内存中，在进行model.to('cuda')时候，已经全部被移动到了显存里面，因为这行代码的意思就是把模型移动到显存，模型是什么？

模型就会这个模型携带的全部参数，而这个embedding也是这个model的参数，当然也被移动到显存中去了。

yrk0556
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
one-model-to-reconstruct-them-all:我们的论文代码“一种重构它们全部的模型”
03-09
一种重构所有模型的模型 该存储库包含我们的论文“一种重构它们的模型：在StyleGAN中使用随机噪声的新颖方法”的代码。 您可以在上阅读本文的预。 在此存储库中，您可以找到重做实验所需的一切，我们还提供了实现和引入的部分思想的。 安装 要设置系统，您需要满足以下要求： 具有支持CUDA的GPU的系统（应该能够与CUDA-10.2一起使用） 最好不要使用Windows（不过docker容器可能会起作用） 就这样=）（我希望。如果我错了，请提出一个问题） 在开始安装之前，请克隆存储库及其子模块： git clone https://github.com/Bartzi/one-model-to-reconstruct-them-all.git git submodule update --init 使用Docker安装 设置一切应该非常容易，因为为了您的方便我们提供了Docker映
CUDA_VGGNET16
05-12
CUDA_VGGNET16 使用cuda实现VGGNet16。 实现4个转换内核，2个池内核。 要求 Cuda-9.0，Cudnn-7.5，CUDA-Toolkit，NVCC 用法 cmake 在root目录下cmake . 添加依赖关系并导入NVTX和NVML。 进口权重和偏差 下载vgg16 caffemodel“ ”并通过run -xvf data.zip解压缩。 编译 在CUDA_VGGNET16/Src/vgg运行make生成可运行文件和ptx文件。 查找图片 找到一个图像并运行python Convert_image_to_txt.py以生成224 * 224尺寸的图像。 跑步 格式： ./vgg image_path
model.to(‘cuda:0‘) 时，被移动到显存的变量类型
最新发布
努力学习的DS
03-19 271
如果你的模型中包含了 Python 原生类型的列表或者 NumPy 数组，它们将保留在 CPU 上的内存中。时，它会将模型的所有参数和缓存（buffers）转移到指定的GPU设备上。这里提到的“参数”通常指的是模型的权重，它们是。仍然在 CPU 的内存中。记住，当你完成 GPU 上的计算后，如果需要将数据从 GPU 再传回 CPU，你可以使用。如果你需要将这些数据结构中的数据用于 GPU 计算，你必须手动将它们转换为 PyTorch 张量，并使用。类型，而“缓存”是指注册为持久状态的张量。
CUDA Programming pdf
09-09
CUDA programming: a developer's guide to parallel computing with GPUs. by Shane Cook. Over the past five years there has been a revolution in computing brought about by a company that for successive years has emerged as one of the premier gaming hardware manufacturersdNVIDIA. With the introduction of the CUDA (Compute Unified Device Architecture) programming language, for the first time these hugely powerful graphics coprocessors could be used by everyday C programmers to offload computationally expensive work. From the embedded device industry, to home users, to supercomputers, everything has changed as a result of this. One of the major changes in the computer software industry has been the move from serial programming to parallel programming. Here, CUDA has produced great advances. The graphics processor unit (GPU) by its very nature is designed for high-speed graphics, which are inherently parallel. CUDA takes a simple model of data parallelism and incorporates it into a programming model without the need for graphics primitives. In fact, CUDA, unlike its predecessors, does not require any understanding or knowledge of graphics or graphics primitives. You do not have to be a games programmer either. The CUDA language makes the GPU look just like another programmable device. Throughout this book I will assume readers have no prior knowledge of CUDA, or of parallel programming. I assume they have only an existing knowledge of the C/C++ programming language. As we progress and you become more competent with CUDA, we’ll cover more advanced topics, taking you from a parallel unaware programmer to one who can exploit the full potential of CUDA. For programmers already familiar with parallel programming concepts and CUDA, we’ll be discussing in detail the architecture of the GPUs and how to get the most from each, including the latest Fermi and Kepler hardware. Literally anyone who can program in C or C++ can program with CUDA in a few hours given a little training. Getting from novice CUDA programmer, with a several times speedup to 10 times–plus speedup is what you should be capable of by the end of this book. The book is very much aimed at learning CUDA, but with a focus on performance, having first achieved correctness. Your level of skill and understanding of writing high-performance code, especially for GPUs, will hugely benefit from this text. This book is a practical guide to using CUDA in real applications, by real practitioners. At the same time, however, we cover the necessary theory and background so everyone, no matter what their background, can follow along and learn how to program in CUDA, making this book ideal for both professionals and those studying GPUs or parallel programming.
x.to(‘cuda‘)或者x.device = ‘cuda‘没有用，无法将数据从CPU放到GPU
swx595182208的博客
03-28 693
我通过尝试用x = x.to('cuda')解决。具体为什么我也不清楚，试出来的。直接使用x.to('cuda')没用，这时候代码理论上是没问题的。
torch.nn.module.to()中参数为i与参数为‘cuda:i‘相同
qq_43219379的博客
03-17 558
torch.nn.module.to()中参数为i与参数为‘cuda:i‘相同
关于 Pytorch 学习的一些小困惑的理解
漫浸天空的雨色的备忘录~
02-27 1761
小记 如题，本文用于总结学习Pytorch的一些小困惑，大的问题，可能会拉出来单写一篇博客，没解决的问题也会暂且放进来，解决了之后再补上去解决方法~~ 目前本人处于菜鸡阶段，深度学习的理论储备有了一些，但还没有真正完整独立的完成一个项目，急需真枪实弹的操练一把，不能继续咸鱼下去了_(T-T｣ ∠)_ 下一周就开始正式上（网）课了，后面争取每天都能遇到一个有收获的问题，并且在这里进行总结~ 大家...
在 PyTorch 中，将数据从 CPU 移动到 GPU 的几种方法
weixin_51659315的博客
12-29 1593
构造函数，先用torch.Tensor(cpu_tensor) 创建了一个新的张量，该张量的数据与 cpu_tensor 共享。它实际上是在创建一个新的张量，将原始张量的数据复制到了 GPU 上。除了设备，.to() 方法还可以指定数据类型（dtype），如 .to('cuda', dtype=torch.float32)。它不会创建新的张量，而是在原地更新了原始张量的设备信息。是一个通用的设备转移方法，不仅可以用于 CPU 和 GPU 之间的转移，还可以在不同的 GPU 之间转移。
pytorc使用多个GPU同时训练及常见问题解决办法
LCCFlccf的博客
05-16 5914
在pytorch上使用多个GPU（在同一台设备上，并非分布式）进行训练是件非常容易的事情，只要在源代码中添加（修改）两行代码即可。下面贴上官方教程给的示例代码。 官方tutorial 把模型放在GPU上: device = torch.device("cuda:0") model.to(device) 将tensor复制到GPU上 mytensor = my_tensor.to(device) ...
conda的使用笔记
oneself的博客
10-26 488
conda的使用笔记
Pytorch | Pytorch框架中模型和数据的gpu和cpu模式：model.to(device), model.cuda(), model.cpu(), DataParallel
iLOVEJohnny的博客
05-09 1万+
背景介绍 我们在使用Pytorch训练时，模型和数据有可能加载在不同的设备上（gpu和cpu），在算梯度或者loss的时候，报错信息类似如下： RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 - expected type torch.cuda.FloatTensor but got torch.FloatTensor RuntimeError: Expected object of devi...
introduction_to_cuda:该存储库是使用CUDA的简介，它由一组示例教程和安装指南组成
03-08
CUDA工具包安装 先决条件 跳至CUDA安装之前，您需要检查有关视频卡的一些信息： 检查视频卡是否支持CUDA。 使用同一链接获取有关视频卡的Microarchitecture ， Compute Capability和Shader Model的信息。 例子： ...
【踩坑1】指定GPU
iviyandyssg的博客
09-22 905
在服务器上有多块gpu时，如果不指定就会默认用cuda0，如何指定用哪一块GPU。 1、直接在代码的开头指定 import os os.environ["CUDA_VISIBLE_DEVICES"] = "6" 2、用.to()或者.cuda()指定 device = torch.device("cuda:6" if torch.cuda.is_available() else "cpu") # 单GPU或者CPU model.to(device) net = net.cuda(6) # .
Torch学习笔记—CUDA，Tensor
Blog Life
03-30 8238
1.CUDA，Tensor 使用.to把张量放置在任何设备上运行
Pytorch中的to方法------数据类型转换、GPU使用方法及注意点、单机多GUP并行执行任务
轻羽羽的博客
05-20 5379
一、转换数据为浮点数 # (张量不执行inplace操作，因此要重新赋值) tensorX = torch.ones((3,3)) tensorX.to(torch.float64) 二、将张量放至gpu # (张量不执行inplace操作，因此要重新赋值) tensorX = tensorX.to('cuda') # 指定gpu tensorX = tensorX.to('cuda:0') @以下是另一种方法 device = torch.devi
.cuda和.to(device)有什么区别
MJy65535的博客
02-01 627
使用.cuda()当你确定目标设备是CUDA兼容的GPU，并且你不需要考虑将模型或张量移动到其他类型的设备。使用来编写更通用、可适应不同设备的代码，特别是当你希望你的代码能够在没有GPU的环境中回退到CPU时，或者你需要处理多种设备类型时。因此，方法提供了更高的灵活性和通用性，是推荐的方式来编写设备无关的PyTorch代码。以上由ChatGPT4生成，仅供学习参考。
PyTorch中to()和cuda()的区别
xfxuezhang.cn
01-13 1万+
没有区别
pytorh .to(device) 和.cuda()的区别
热门推荐
Golden-sun的博客
10-22 2万+
原理 可以指定cpu 或者GPU device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") model.to(device) #如果是多GPU if torch.cuda.device_count() > 1: model = nn.DataParallel(model，device_ids=[0,1,2]) model.to(device) 只能指定GPU #指定某个GPU os.environ['CUDA_
model.to(device)和model.cuda
04-11
这两个方法的作用是将模型中的参数和计算转移到指定的设备上，使得模型能够...其中，model.to(device) 可以将模型的参数和计算转移到任何指定的设备上，而 model.cuda() 只能将模型的参数和计算转移到 GPU 上进行计算。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值