指定GPU跑模型

已于 2024-06-16 14:20:54 修改
阅读量433 收藏 1
点赞数 4
分类专栏： 去雾 计算机视觉 机器学习 文章标签： 图像处理 计算机视觉 图像去雾
于 2024-06-16 14:16:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46028606/article/details/139719861
版权

加上一个CUDA_VISIBLE_DEVICES=0,2就行了，使用0卡和2卡跑模型，注意多卡有时候比单卡慢，4090无NVlink，数据似乎是通过串行的方式传输到多个gpu的，只不过单个gpu是并行计算，数据在gpu与gpu之间似乎是串行传输的，如果第一个卡的显存实在是太过于紧张，只有几十mb可用也可能导致cuda out of memory！
指定0卡和2卡

CUDA_VISIBLE_DEVICES=0,2 python main.py

指定2卡

CUDA_VISIBLE_DEVICES=2 python main.py

----->
确保CUDA可用，安装了与cuda对应的pytorch

import torch
print(torch.cuda.is_available())
dareu_4523
关注
专栏目录
pytorch 指定GPU的几种方法
05-31 877
在使用PyTorch时，你可以通过多种方式指定和使用GPU。
多GPU指定运行某个GPU
Ppandaer的博客
07-09 544
在你的代码中，你可以在加载模型到GPU之前，添加一行代码来设置要使用的GPU。GPU的索引号是从0开始的，所以GPU-1实际上是第二个GPU。如果想要在第一个GPU上运行你的程序，应该使用。参数是你想要使用的GPU的索引号，例如，如果你有两个GPU，那么它们的索引号分别是0和1。函数中创建了一个CUDA张量。你应该确保这个张量在你选择的GPU上，可以通过在。此外，需要确保的所有CUDA张量也在同一个GPU上。在PyTorch中，你可以使用[来设置要使用的GPU。
【大模型实战篇】大模型显存资源计算以及GPU如何选择
源泉的小广场
09-05 2334
大模型、GPU、大模型显存资源计算、LLM、模型资源估算、计算公式、大模型资源因素、显存计算器、数值精度、GPU选型、大模型部署
训练模型过程中优雅的指定GPU
orangerfun的博客
02-03 1492
目前训练模型大部分在单机多卡的环境下，我们通常会指定一个GPU来训练模型。在不指定GPU情况下，默认使用GPU0来训练，但是很不巧GPU0被别人占了一半显存，导致OOM错误。每次跑模型都要去看下哪张卡显存最大，然后再来修改代码，指定GPU，是不是超级烦人呢!😶‍🌫️，今天就介绍一个每次都由程序自动选择剩余最大的显存的GPU来训练。
PYTorch训练和推理 指定GPU
黎国溥
03-21 3100
在训练模型和推理测试时，电脑中有多个显卡，需要指定某个GPU，以免出现显出不够问题。
使用GPU运行TensorFlow模型的教程
m0_71417856的博客
02-26 9530
本教程将指导您如何在GPU上运行TensorFlow模型，以加速您的机器学习或深度学习项目。我们将涵盖为什么使用GPU、必要的前置知识（如TensorFlow、CUDA、cuDNN等）、环境准备和安装步骤，以及如何在PyCharm和Jupyter等IDE中配置和使用TensorFlow。
解决通过CUDA调用GPU运行机器学习代码
有朋自远方来，不亦乐乎。
05-11 1万+
前言： 有一群志同道合的伙伴真是人生中的一大幸事。 一、准备环境 1、下载anaconda Anaconda | The World's Most Popular Data Science Platformhttps://www.anaconda.com/ Ananconda安装教程： (1条消息) 史上最全最详细的Anaconda安装教程_OSurer的博客-CSDN博客_anaconda 安装https://blog.csdn.net/wq_o...
基于数据并行实现多GPU跑模型预测（VGG16示例）
12-21
本文将探讨如何通过数据并行实现多GPU跑模型预测，以VGG16为例进行说明。 首先，数据并行是深度学习中常见的加速策略之一，其核心思想是将大型数据集分割成多个小批量（batch），并在多个GPU上同时运行这些小批量的...
Matlab如何指定gpu跑代码-Grid-Anchor-based-Image-Cropping-Pytorch:与Ubuntu上的Pyth
05-23
Matlab如何指定gpu运行代码基于网格锚的图像裁剪火炬 该存储库包括我们对会议版本所做的一些扩展。 有关详细信息，请阅读。 某些代码（包括roi align和rod align）被编写为带有或不带有CUDA的C ++中的PyTorch扩展。 ...
Matlab如何指定gpu跑代码-tSNE-cuda:t分布式随机邻居嵌入（t-SNE）CUDA实现的分支。http://homepage.t
05-23
本文将详细介绍如何在Matlab中指定GPU运行t-SNE的CUDA实现，以及如何使用开源项目“tSNE-cuda-master”。 首先，确保你的计算机配备了兼容的NVIDIA GPU和安装了最新的CUDA工具包。在Matlab中使用GPU计算需要Matlab...
如何在pycharm中指定GPU
安静到无声
08-17 2171
添加名称：CUDA_VISIBLE_DEVICES和对应值即可。
tensorflow中指定GPU及GPU显存设置
热门推荐
妙猪的专栏
08-14 10万+
查看机器上GPU情况 命令： nvidia-smi 功能：显示机器上gpu的情况 命令： nvidia-smi -l 功能：定时更新显示机器上gpu的情况 其中左上侧有0、1、2、3的编号，表示GPU的编号，在后面指定GPU时需要使用这个编号。 在终端执行程序时指定GPU   CUDA_VISIBLE_DEVICES=1   python  your_
linux系统利用GPU跑数据（tensorflow）
weixin_33775582的博客
06-26 1461
https://blog.csdn.net/qq_26591517/article/details/82469680 查看机器上GPU情况 命令： nvidia-smi 功能：显示机器上gpu的情况 命令： nvidia-smi -l 功能：定时更新显示机器上gpu的情况 命令：watch -n 3 nvidia-smi 功能：设定刷新时间（秒）显示GPU使用情况 其中左上侧有0、1、2、3的编号...
如何免费使用GPU跑深度学习代码
weixin_30642267的博客
10-01 5466
　　从事深度学习的研究者都知道，深度学习代码需要设计海量的数据，需要很大很大很大(重要的事情说三遍)的计算量，以至于CPU算不过来，需要通过GPU帮忙，但这必不意味着CPU的性能没GPU强，CPU是那种综合性的，GPU是专门用来做图像渲染的，这我们大家都知道，做图像矩阵的计算GPU更加在行，应该我们一般把深度学习程序让GPU来计算，事实也证明GPU的计算速度比CPU块，但是(但是前面的话...
用谷歌的GPU跑你的代码----Colaboratory使用记录
卑微前行
05-21 1万+
    Google不愧为大佬，给我们这些小（穷）白（鬼）开放了一个Gpu的端口，让我们的体会了一下GPU的速度。本人亲测，我的代码在我的笔记本上跑了20分钟，但上传到Colaboratory上只需要3分钟就可以给我答案。但Colaboratory并不是那么简单，我研究了一天，终于找到了一些技巧，特意记录下来。  Colaboratory是谷歌云盘的一个工具，谷歌官方给出的解释是“Colabora...
linux用gpu跑程序,linux系统利用GPU跑数据（tensorflow）
weixin_42245967的博客
05-01 1220
查看机器上GPU情况命令： nvidia-smi功能：显示机器上gpu的情况命令： nvidia-smi -l功能：定时更新显示机器上gpu的情况命令：watch -n 3 nvidia-smi功能：设定刷新时间(秒)显示GPU使用情况其中左上侧有0、1、2、3的编号，表示GPU的编号，在后面指定GPU时需要使用这个编号。在终端执行程序时指定GPUCUDA_VISIBLE_DEVICES=1 py...
TensorFlow 指定 GPU 训练模型
黄飞的博客专栏
05-12 2059
Linux 查看当前服务器 GPU 的占用情况可以使用 nvidia-smi 命令，如下所示： nvidia-smi 关于 nvidia-smi 命令输出的详细解释，可参考笔者的另外一篇博客：GPU状态监测 nvidia-smi 命令详解。在此不再赘述，本文主要分享一下在用 TensorFlow 训练模型时如何指定 GPU。 在用 TensorFlow 训练深度学习模型的时候，若无手...
指定gpu跑深度学习
最新发布
09-15
指定GPU来运行深度学习模型通常是在机器上安装了多个GPU，并且为了充分利用计算资源和加速训练过程。以下是如何在常见环境中设置的步骤： 1. **TensorFlow**: 在Python中，可以使用`tf.distribute.Strategy` API来控制在哪台GPU上运行模型。例如，`tf.distribute.MirroredStrategy`会将模型分布在所有可用的GPU上。 ```python import tensorflow as tf strategy = tf.distribute.MirroredStrategy() with strategy.scope(): model = MyDeepLearningModel() # 在策略的作用域内创建模型 ``` 2. **PyTorch**: PyTorch通过`torch.nn.DataParallel`或`torch.cuda.set_device`来管理GPU。先选择GPU设备，然后创建模型实例。 ```python import torch device = torch.device('cuda:0') if torch.cuda.is_available() else torch.device('cpu') model = MyDeepLearningModel().to(device) ``` 3. **Keras**: Keras库默认支持跨GPU训练，通过`MultiWorkerMirroredStrategy`（分布式训练）或`tf.keras.utils.multi_gpu_model`（单机多GPU）。首先安装 Horovod 等库进行分布式训练。 ```python import keras from keras.utils import multi_gpu_model # 单机多GPU if tf.config.list_physical_devices('GPU'): gpus = tf.config.experimental.list_physical_devices('GPU') my_model = create_my_model() parallel_model = multi_gpu_model(my_model, gpus=gpus) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

dareu_4523

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值