Pycharm运行Pytorch分布式代码的设置

最新推荐文章于 2024-06-26 12:52:39 发布
最新推荐文章于 2024-06-26 12:52:39 发布
阅读量2k 收藏 10
点赞数 1
分类专栏： 项目部署 Python库 工具 文章标签： Pycharm Pytorch 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/studyeboy/article/details/115299782
版权
Python库 同时被 3 个专栏收录
56 篇文章 4 订阅
订阅专栏
工具
37 篇文章 0 订阅
订阅专栏
项目部署
15 篇文章 0 订阅
订阅专栏

Pytorch分布式代码的训练一般在命令行下启动，或者shell脚本启动。

python3 -m torch.distributed.launch --nproc_per_node=8 --master_port=7129 train_PBAFN_stage1.py --name PBAFN_stage1   \
--resize_or_crop None --verbose --tf_log --batchSize 4 --num_gpus 8 --label_nc 14 --launcher pytorch

但代码调试不便，用Pycharm运行Pytorch分布式代码需要做一些参数设置。

  • 设置软连接
ln -s /home/xxx/.local/lib/python3.5/site-packages/torch/distributed/ /mnt/disk2/xxx/work/PF-AFN/PF-AFN_train/

在这里插入图片描述

  • 设置参数
    pycharm中，编辑训练脚本train_PBAFN_stage1.py的Edit Configurations，脚本选择软连接的/mnt/disk2/xxx/work/PF-AFN/PF-AFN_train/distributed/launch.py，参数设置如下：
--nproc_per_node=2 --master_port=7129 /mnt/disk2/xxx/work/PF-AFN/PF-AFN_train/train_PBAFN_stage1.py --name PBAFN_stage1 --resize_or_crop None --verbose --tf_log --batchSize 4 --num_gpus 8 --label_nc 14 --launcher pytorch

在这里插入图片描述

  • 运行训练脚本即可

参考资料
Pycharm：运行、调试pytorch分布式训练代码

studyeboy
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
PyTorch 原理与代码实战案例讲解
禅与计算机程序设计艺术
07-21 823
PyTorch 的核心算法主要包括张量运算、自动微分和优化算法。张量运算提供了强大的数学支持，自动微分通过记录操作历史来计算梯度，优化算法则根据梯度更新模型参数以最小化损失。PyTorch 在深度学习领域取得了显著成就，从简单的线性回归到复杂的人工智能系统，都离不开其强大的计算能力和灵活性。通过不断的学习和实践，用户能够构建更加高效、精确的模型，解决更多实际问题。
【分布式编程】四——Pycharm运行Python版Spark程序
tiweeny的博客
02-07 1613
前言 此前搭建成功分布式Spark环境，此文介绍使用Pycharm运行Python语言的Spark程序。 操作步骤 安装Pycharm 点击下载。 过程与安装Intellij IDEA类似，在此不在赘述。 进入到安装目录下执行 ./bin pycharm-sh 配置运行环境 创建新项目 新建一个Python文件，这里命名为main.py from pyspar
Pycharm：运行、调试pytorch分布式训练代码
lxb206的博客
03-02 8027
问题描述： pytorch提供分布式训练的工具。硬件条件允许的情况下（多GPU甚至是多台服务器），可以使用分布式训练加快模型的训练。 分布式训练包括（1）单机多卡，（2）多机多卡。笔者属于第一种情形。 分布式代码的训练一般在命令行下启动，或者shell脚本启动，但是代码有bug时，调试极为不便，本文就如何在Pycharm下，对pytorch分布式代码进行调试，进行解决方法的记录。 方法： 1、分析 # pytorch分布式代码的启动命令如下 python -m torch.distrib.
pytorch 进行分布式调试debug torch.distributed.launch 三种方式
flyingluohaipeng的博客
01-10 7580
当进入pdb调试后，跟原先使用pdb调试命令一样，可以在线打断点（再使用pdb命令添加多个断点），也可以逐行执行代码，也能查看变量。唯一缺点是分布式调试需要在代码前手动加上pdb.set_trace()这一行代码，手动打第一个断点。命令行添加pdb后，进入调试的代码在launch.py中，打断点到主程序后，无法进入到住程序里面，------？
[YOLOv8单机多卡GPU问题解决]
dujuancao11的博客
06-26 460
解决：MKL_THREADING_LAYER=GPU。分析：直接定位到Error部分。
如何在pycharm中运行/调试torch分布式训练
sunmenmian的博客
04-08 4024
转自https://zhuanlan.zhihu.com/p/144815822 现在很多深度学习研究开源代码都会使用pytorch框架，原因之一就是在torch中，只要你定义好了一个module，你就可以轻易的用torch.distributed将其应用到单机多GPU或者多机多GPU的场景中，加速模型的收敛速度。 但是在所有github项目的readme中，都是仅给出了如何在命令行模式下使用分布式的方法。对于需要在Pycharm或其他IDE进行调试的研究者就不太适用。 环境 PyTorch 1.6 PyC
PyCharm配置PyTorch环境，手把手教学
qq_43596278的博客
03-04 9860
软件：已安装python3.10、PyCharm 2022.2.1、Visual Studio 2019、PyTorch系列。电脑：系统型号 HP ProBook 450 G8 Notebook PC（HP战66四代）在anoconda中输入“conda env list”查看所有的虚拟环境，打开PyCharm，新建工程。点ok键，create创建。建立一个python文件。找到你配置好的虚拟环境。
pycharm pytorch_Pycharm 下如何 debug torch.distributed
weixin_39668479的博客
11-27 1938
前言关于 torch.distributed 的用法，请参考：Todd：PyTorch Parallel Training（单机多卡并行、混合精度、同步BN训练指南文档）纵横：当代研究生应当掌握的并行训练方法（单机多卡）https://github.com/tczhangzhi/pytorch-distributed里面的内容大同小异，看过一个就够了，这里不作赘述。上述文章给出的代码调用方式，都是...
高分毕业设计-基于Pytorch分布式包的单机多核CPU实现横向联邦学习Python源码+文档说明+配置说明
最新发布
08-12
或者在Pycharm中直接运行该main.py文件。 3.2 服务端 横向联邦学习的服务端的主要功能是将被选择的客户端上传的本地模型进行模型聚合。但这里需要特别注意的是，事实上，对于一个功能完善的联邦学习框架，比如我们...
【Pytorch分布式训练】MistGPU服务器训练
strawcherry_wj的博客
03-07 1730
MistGPU地址 PyCharm连接MistGPU教程 ifconfig命令查看ip地址 报错：zsh: command not found: ifconfig 原因：在服务器上第一次使用该命令需要先安装net-tools 解决办法：sudo apt install net-tools sudo apt install net-tools安装网络包报错 报错：unable to locate package net-tools 解决办法：sudo apt-get update ...
pytorch使用horovod多gpu训练的实现
12-17
在实际应用中，你可能还需要考虑其他因素，比如设置学习率策略、添加检查点保存、调整日志和超参数等。注意，为了充分利用Horovod的优势，你的系统需要支持MPI（Message Passing Interface）和CUDA环境。
测试-03-AFN-OC.zip
03-20
测试-03-AFN-OC.zip
关于Pycharm进行pytorch分布式训练代码
leefly072的博客
09-27 1587
问题 可以命令行调用，但不能pycharm进行运行。 需要执行命令行是 python -m torch.distributed.launch --nproc_per_node=8 --master_port=4321 basicsr/train.py -opt options/train/SIDD/HINet.yml --launcher pytorch 设置软连接 ln -s /home/lifei/.local/lib/python3.8/site-packages/torch/distribu
Pycharm debug调试torch.distributed.launch加速代码
AAliuxiaolei的博客
02-05 1000
做实验的时候如果不使用torch.distributed.launch加载数据会特别慢，很影响做实验 在Parameter里 就可以愉快用上加速了
ubuntu下对使用命令行运行的python文件或shell脚本文件在pychram中运行调试（faster rcnn举例）
qq_42647047的博客
04-05 913
参考 这里以faster rcnn中训练命令为例来说明，训练命令如下 CUDA_VISIBLE_DEVICES=0 python trainval_net.py --dataset pascal_voc --net res101 --bs 1 --nw 1 --lr 0.001 --lr_decay_step 5 --cuda 为方便调试，直接在pycharm下跑训练程序，需做如下设置： （1）在...
pytorch中的分布式训练
Blankit1的博客
07-16 3647
pytorch分布式训练
pytorch-4
gg13213的博客
10-11 127
pytorch-4tensorboardtensorboard使用 tensorboard 可视化工具：tensorboard。 支持标量、图像、文本、音频、视频和embedding等多种数据可视化。 运行机制：python脚本中记录可视化的数据–>将需要的数据存储在硬盘中–>tensorboard在终端读取数据进行可视化。 from torch.utils.tensorboard import SummaryWriter writer = SummaryWriter(comment="tes
pytorch 分布式训练
Billie使劲学的博客
12-26 2777
神经网络训练加速的最简单方法是使用GPU，对弈神经网络中常规操作（矩阵乘法和加法）GPU运算速度要倍超于CPU。随着模型或数据集越来越大，一个GPU很快就会变得不足。例如，BERT和GPT-2等大型语言模型是在数百个GPU上训练的。对于多GPU训练，需要一种在不同GPU之间对模型和数据进行切分和调度的方法。PyTorch是非常流行的深度学习框架，它在主流框架中对于灵活性和易用性的平衡最好。和。DataParallel更易于使用（只需简单包装单GPU模型）。
python shell命令解析_使用Python解析shell脚本的复杂参数
weixin_30066779的博客
03-01 706
我编写了一个简短的Python脚本，它可以完成我想要的大部分功能。我还不确定它的生产质量(特别是缺少错误处理)，但总比什么都没有好。我欢迎任何反馈。在它利用奇妙的^{} builtin优雅地重新分配位置参数，允许脚本的其余部分按需要处理它们。在bashparse.py#!/usr/bin/env pythonimport optparse, sysfrom pipes import quote''...
pycharm运行pytorch
09-08
要在PyCharm中运行PyTorch，你需要按照以下步骤操作： 1. 首先，确保已经安装了PyTorch。你可以通过以下命令在终端或命令提示符中安装PyTorch： ``` pip install torch torchvision ``` 2. 打开PyCharm并创建一个新的项目。 3. 在项目中创建一个Python文件，并将其保存为.py文件。 4. 导入所需的库： ```python import torch import torchvision ``` 5. 接下来，你可以编写和运行使用PyTorch的代码。 例如，你可以创建一个简单的神经网络模型并训练它： ```python import torch import torch.nn as nn import torch.optim as optim # 定义神经网络模型 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.fc = nn.Linear(10, 1) def forward(self, x): x = self.fc(x) return x net = Net() # 定义损失函数和优化器 criterion = nn.MSELoss() optimizer = optim.SGD(net.parameters(), lr=0.01) # 训练模型 for epoch in range(10): inputs = torch.randn(1, 10) targets = torch.randn(1, 1) optimizer.zero_grad() outputs = net(inputs) loss = criterion(outputs, targets) loss.backward() optimizer.step() print('Epoch: {}, Loss: {}'.format(epoch, loss.item())) ``` 6. 点击PyCharm工具栏上的运行按钮或使用快捷键（通常是Ctrl+Shift+F10）来运行你的代码。 这样，你就可以在PyCharm中运行PyTorch代码了。注意，确保你的项目环境中已安装正确的PyTorch版本。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值