多GPU卡训练/预测使用指定GPU

WHU李相赫

已于 2023-04-12 12:22:10 修改

阅读量419

点赞数

文章标签： pytorch 深度学习 python

于 2023-04-12 11:47:10 首次发布

本文链接：https://blog.csdn.net/weixin_45864655/article/details/130103621

版权

多GPU卡训练/预测使用指定GPU

Pytorch下使用指定GPU：
比如想用2,3,4,5号卡

os.environ["CUDA_VISIBLE_DEVICES"] = "2,3,4,5,6,7,0,1"
torch.nn.DataParallel(MODEL, device_ids=[0,1,2,3])

MODEL为你的模型，device_ids=[0,1,2,3]可以填写单个或多个。
例如想用2号卡

os.environ["CUDA_VISIBLE_DEVICES"] = "2,3,4,5,6,7,0,1"
torch.nn.DataParallel(MODEL, device_ids=[0])

在这里插入图片描述
成功只使用2号

优惠劵

WHU李相赫

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
多GPU卡训练/预测使用指定GPU

MODEL为你的模型，device_ids=[0,1,2,3]可以填写单个或多个。
复制链接

扫一扫

ForecastGA:使用几种流行的时间序列模型来预测Google Analytics（分析）数据的Python工具

05-28

预测GA 使用几种流行的时间序列模型来预测GA数据的Python工具。关于欢迎来到ForecastGA ForecastGA是一种工具，结合了一些流行的库和，并进行了一些增强。通过使工具逻辑与模型训练和预测分离，使模型的升级和添加更加直观。当调用am.forecast_insample() ，包含的所有am.forecast_insample()例如learning_rate ）都将传递到模型的train方法。只需传递网址即可指定Google Analytics（分析）配置文件（例如）。您可以使用GA配置选项或Pandas系列作为输入数据来提供data字典。多个日志级别。自动GPU检测（通过Torch）。通过调用forecastga.print_model_info()列出所有可用的模型及其描述。 Google API信息可以在data字典中传递，

tensorflow 指定使用gpu处理，tensorflow占用多个GPU但只有一个在跑

11-19

3384

我们在刚使用tensorflow的过程中，会遇到这个问题，通常我们有多个gpu，但是在通过nvidia-smi查看的时候，一般多个gpu的资源都被占满，但是只有一个gpu的GPU-Util 和 219W / 250W（Usage/Cap）会被占满。实际上我们只有一个在跑，但是我们其实只需要一个卡，其他卡要跑其他的资源，这时候怎么办呢。 import os os.e...

参与评论您还未登录，请先登录后发表或查看评论

PYTorch训练和推理指定GPU

最新发布

黎国溥

03-21

937

在训练模型和推理测试时，电脑中有多个显卡，需要指定某个GPU，以免出现显出不够问题。

基于CNN网络模型对人脸图像进行性别分类和年龄估计源码+数据集

10-09

使用说明：代码文件存放在Code文件夹，同一目录下创建data文件夹，数据集下载解压后使用renamePic_New.py进行重命名，文件路径自行指定; data文件夹下创建UTKFace与UTKTest文件夹用来存放训练集与测试集; Net.py中存放网络模型,dataset存放数据处理代码; train_age.py用以训练年龄预测模型，train_gen.py用以训练性别预测模型，estimation.py进行效果展示; 模型存放位置与运行日志存放位置请自行指定与创建; 运行环境： python3.9 torch 2.0.0+cu118 numpy 1.24.1 注：支持CPU运行，若要使用GPU，请自行安装CUDA、CUDNN;

基于微调方式和BERT实现的文本分类器python源码+使用说明+预训练模型.zip

01-09

1.项目代码均经过功能验证ok，确保稳定可靠运行。欢迎下载体验！下载完使用问题请私信沟通。 2.主要针对各个计算机相关专业，包括计算机科学、信息安全、数据科学与大数据技术、人工智能、通信、物联网等领域的在校学生、专业教师、企业员工。 3.项目具有丰富的拓展空间，不仅可作为入门进阶，也可直接作为毕设、课程设计、大作业、初期项目立项演示等用途。 4.当然也鼓励大家基于此进行二次开发。在使用过程中，如有问题或建议，请及时沟通。 5.期待你能在项目中找到乐趣和灵感，也欢迎你的分享和反馈！【资源说明】基于微调方式和BERT实现的文本分类器python源码+使用说明+预训练模型.zip 个人基于BERT编写的文本分类器（基于微调方式），可自由加载NLP领域知名的预训练语言模型BERT、 Roberta、ALBert及其wwm版本，同时适配ERNIE1.0. 该项目支持两种预测方式：（1）线下实时预测（2）服务端实时预测运行环境 * Python3.6+ * Tensorflow1.10+/Tensorflow-gpu1.10+ (可cpu运行) 主要分为两种运行模式：模式1：线下实时预测 step1:数据准备 step2:模型训练 step3:模型导出 step4:线下实时预测模式2：服务端实时预测 step1:数据准备 step2:模型训练 step3:模型转换 step4:服务部署 step5:应用端注意事项 1.如果你只是想体验从模型训练到本地线下预测这一套流程，只需要按照模式1依次执行即可 2.若你想想体验从模型训练到模型部署整个流程，则需要按照模式2依次执行下面将针对以上两个模式的运行方式进行详细说明。 tep2:模型训练训练命令： ```Bash bash train.sh ``` train.sh参数说明： ```Bash export BERT_BASE_DIR=./chinese_roberta_zh_l12 #指定预训练的语言模型所在路径 export DATA_DIR=./dat #指定数据集所在路径 export TRAINED_CLASSIFIER=./output #训练的模型输出路径 export MODEL_NAME=mobile_0_roberta_base #训练的模型命名 ``` 详细说明：训练模型直接使用bert微调的方式进行训练，对应的程序文件为run_classifier_serving.py。关于微调bert进行训练的代码网上介绍的很多，这里就不一一介绍。主要是创建针对该任务的Processor即：SentimentProcessor，在这个processor的_create_examples()和get_labels()函数自定义，如下所示：更多详见项目说明！！！！

CartoonGAN-predict:这是用于预测“ CartoonGAN”论文的非官方火炬实现

05-12

CartoonGAN预测器这是用于预测“ CartoonGAN：照片卡通化的生成对抗网络”论文的非正式火炬实现[1] 输入照片宫崎骏风格要求 Lua 5.1 argparse 火炬7 GPU环境预训练模型您可以从作者页面下载经过预训练的模型。用法选项 --input ：输入文件的路径。 --input_dir ：输入目录的路径。如果指定此选项，则无论--input选项如何，都将对指定目录下的所有文件进行预测。 --output ：输出文件的路径。此选项与--input选项配对。 --output_dir ：输出目录的路径。此选项与--input_dir选项配对。 --model ：预训练模型的路径。例子 th predict.lua --input example/real.jpg --output example/cartoonized.jpg -

多GPU训练：torch.nn.DataParallel（）指定显卡

AAliuxiaolei的博客

08-08

1996

遇到大的模型一般会采用torch.nn.DataParallel（）的方式使用多GPU进行训练，但torch.nn.DataParallel（）这个方式会每次调用GPU：0，如果0卡被占用就训练不起来了。在此提供两种指定GPU的方法：方法一：.cuda(‘cuda:3’) 这种方法就是将有cuda（）的地方全部里面指定卡，但是这样改的地方太多，要是再做变动就会很麻烦，而且貌似不可以指定两张卡。方法二： os.environ[“CUDA_VISIBLE_DEVICES”] = ‘1,2’ 这种方法可以让程

基于数据并行实现多GPU跑模型预测（VGG16示例）

凡心所向.AI

04-30

2142

个人总结能实现多GPU跑图的方法： 1、使用谷歌框架tf.estimator； session_config = tf.ConfigProto(device_count={'GPU': 0,'GPU':1,'GPU':2,'GPU':3}) run_config = tf.estimator.RunConfig().replace(session_config=session_confi...

pytorch单机多卡的简单原理与使用

草鸟的博客

02-06

3905

pytorch 单机多卡的使用

多块显卡时，指定使用某一张显卡(cuda)进行训练的代码

zy的博客

11-06

2220

指定某张显卡进行训练

【多GPU训练】选择服务器中部分指定GPU进行使用

qq_45193872的博客

01-26

7682

使用背景：主机多GPU情况下选择指定部分GPU使用很多服务器在进行配备时会装配多块GPU，那么我们在使用服务器时，有时可能会多个终端对服务器进行操控，因此有时需要对特定的GPU进行指定操作，才不会使用户之间使用GPU时相互影响；或者需要指定特定数量的GPU才能达到训练效果。

基于ICNet模型实现航拍遥感图像图像分割python源码(附数据集+模型+项目使用说明).zip

10-25

多机多卡分布式训练(Distributed Data DataParallel, DDP)安装踩坑记录

xyl_507的博客

04-28

3911

最近在做目标跟踪的训练时，需要对backbone做一个在imagenet上的预训练模型。众所周知，140GB+的imagenet数据集上训练网络很是考验算力。刚开始在单机双卡(2080Ti)上试了一下，1个epoch需要6个小时，跑完100 epoch大约100*6/24=25天。瞬间放弃单机多卡，将目光放在了多机多卡训练，特撰文记录这段时间的工作，方便以后查询。一、准备工作因为之前配置单机的深度学习环境时，备份了许多安装包，所以后续大多数都是离线安装安装包目录： cuda_10.2.89

python在多卡服务器中指定某块显卡允许程序 -- 本机为mac，服务器为Linux, nvidia

qq_40671063的博客

01-14

2526

python在多卡服务器中指定某块显卡允许程序 -- 本机为mac，服务器为Linux, nvidia

保姆级LLM训练教程：阿里云平台使用accelerate,deepspeed多机多卡训练Chatglm2-6B

qq_50097745的博客

10-19

3765

网上的教程，都基本上可能他们自己都能调通，但是，很多细节都没有给出，如何从0到1去搭建多机多卡训练是个很大的难题。本教程是保姆级的教程，搭建数据多机多卡分布式训练，训练的策略是lora

DeepSpeed多卡训练问题梳理

u012395477的博客

07-03

6284

DeepSpeed多级多卡问题处理

GPU多卡并行训练总结（以pytorch为例）

小白学视觉

04-13

2589

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达为什么要使用多GPU并行训练本简单来说，有两种原因：第一种是模型在一块GPU上放不下，两块或多块GPU上就能运行完整的模型（如早期的AlexNet）。第二种是多块GPU并行计算可以达到加速训练的效果。想要成为“炼丹大师“，多GPU并行训练是不可或缺的技能。常见的多GPU训练方法：1.模型并行方式：如果模型特别大，GPU显存不够，...

Pytorch加载多GPU模型预测

qq_16542771的博客

10-08

3705

Pytorch加载多GPU模型预测Load模型参数Load数据 Load模型参数使用多GPU训练的模型在save时参数字典会键会添加model.关键字，在CPU或者单GPU使用时会引发错误Unexpected key(s) in state_dict: “module.features. …”.，Expected “.features…”。在保存时用如下语句可解决： torch.save(mod...

指定GPU运行python程序

猫敷雪

04-23

3411

Persistence-M：持续模式的状态开关，该模式耗能大，但是启动新GPU应用时比较快，这里是off。1、首先查看哪些GPU空闲，nvidia-smi显示当前GPU使用情况。Perf：性能状态，从P0到P12，P0性能最大，P12最小。GPU-Util：GPU利用率，第一个是74%，第二个未用。Fan：风扇转速，在0到100%之间变动，第一个是29%Name：显卡名，这里两块都是GeForce。Temp：显卡温度，第一个是60摄氏度。GPU：编号，这里是0和1。Bus-Id：GPU总线。

libsvm使用gpu加速

05-14

然后在代码中使用GPU参数来指定使用GPU进行训练和预测。在训练和预测之前，您需要将数据转换为libsvm格式，并将其加载到内存中。需要注意的是，虽然使用GPU加速可以提高训练和预测的速度，但是也需要一定的GPU硬件...

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交