Pycharm 远程分布式训练 debug

最新推荐文章于 2024-09-10 02:13:06 发布
最新推荐文章于 2024-09-10 02:13:06 发布
阅读量370 收藏 2
点赞数
文章标签： pycharm 分布式 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43666068/article/details/130835882
版权

问题描述:项目需要在远程服务器运行这样一个 .sh文件, 想要在Pycharm上进行debug操作.
在这里插入图片描述
操作:
原本运行需要python train.py cfg_path nproc_per_node
pycharm进行debug时最主要的就是将红色部分替换成环境中的launch.py文件, 注意这里打开文件打开的都是本地的,没法打开远程的!但是连上了服务器后直接将launch.py在服务器上的绝对路径输入进去即可!!!
–nproc_per_node=1 --master_port=29500 tools/train.py configs/pct_base_tokenizer.py --launcher pytorch
在这里插入图片描述
运行即可.

sduerfh
关注
Python系列：pycharm 远程连接服务器并且debug, 支持torch.distributed.launch debug
weixin_54626591的博客
12-14 1380
pycharm 远程连接服务器并且debug, 支持torch.distributed.launch debug
人工智能之华为云ModelArts的深度使用体验与AI Gallery应用开发实践
╰つ栺尖篴夢ゞ
01-24 1万+
一、ModelArts 简介 ① 什么是 ModelArts？ ModelArts 是面向 AI 开发者的一站式开发平台，提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期 AI 工作流。 “一站式”是指 AI 开发的各个环节，包括数据处理、算法开发、模型训练、模型部署都可以在 ModelArts 上完成。从技术上看，ModelArts 底层支持各种异构计算资源，开发者可以根据需要灵活选择使用，而不需要关心底层的技术。同时
pycharm远程连接debug
qq_44482186的博客
12-05 1101
本文是基于已经跑通的远程连接项目，编译器等都已经配置好。因为之前只是跑通别人的代码，没有debug需求，今天要用到debug功能，并且要基于远程服务器，所以有了这篇文章
【PyTorch】PyCharm远程连接服务器，调试torch.distributed.launch分布式程序
qq_45792472的博客
11-11 2382
【PyTorch】PyCharm远程连接服务器，调试torch.distributed.launch分布式程序
VS code 需要传参的分布式训练debug方法
weixin_43226285的博客
02-22 259
VS code 分布式带参数代码debug
vscode分布式训练debug（记录贴）
Zhang_Hao_0111的博客
11-14 762
vscode的分布式训练debug
pycharm 远程连接服务器并且debug, 支持torch.distributed.launch debug
无左无右的博客
07-27 4432
未经允许，本文不得转载，vx：837007389。
深入解析 PyCharm 远程调试（debug）：连接远程容器代码与环境的综合踩坑指南
qq_46170664的博客
08-04 679
Pycharm连接远程容器代码+Pycharm连接远程容器中的环境
pytorch 进行分布式调试debug torch.distributed.launch 三种方式
flyingluohaipeng的博客
01-10 8031
当进入pdb调试后，跟原先使用pdb调试命令一样，可以在线打断点（再使用pdb命令添加多个断点），也可以逐行执行代码，也能查看变量。唯一缺点是分布式调试需要在代码前手动加上pdb.set_trace()这一行代码，手动打第一个断点。命令行添加pdb后，进入调试的代码在launch.py中，打断点到主程序后，无法进入到住程序里面，------？
AI Native 应用的商业模式创新
最新发布
AI天才研究院
09-10 734
在当今快速发展的科技世界中，人工智能（AI）已经成为推动创新和变革的核心力量。随着AI技术的不断进步，一个新的概念应运而生——AI Native应用。这种新型应用不仅仅是将AI作为一个附加功能，而是将AI深度融入到应用的核心架构和功能中，从根本上改变了软件的设计、开发和使用方式。AI Native应用的出现，为商业模式创新提供了前所未有的机会。传统的软件应用往往依赖于预设的规则和有限的数据处理能力，而AI Native应用则能够不断学习、适应和优化，为用户提供更加个性化和智能化的服务。
人工智能大模型原理与应用实战：AI模型转换为API的步骤和方法
AI天才研究院
11-06 909
传统的开发模式下，构建复杂的软件系统是非常费时费力的，而通过云计算、微服务等技术手段可以实现快速部署、弹性扩展的能力。在这种背景下，越来越多的公司将重点转移到研发人员的产品思维上，希望能够将自己的AI模型转换为一个可供他人调用的API接口。但是对于许多从事AI领域的研发人员来说，如何将自己的AI模型转换为API是一个比较棘手的问题。在这篇文章中，作者将从AI模型转换为API的过程分为以下几个步骤：AI模型准备阶段——模型选择、数据准备、模型训练。
所有的 Python 库都整理
JanLEE
07-15 560
常用库 Chardet字符编码探测器，可以自动检测文本、网页、xml的编码。 colorama主要用来给文本添加各种颜色，并且非常简单易用。 Prettytable主要用于在终端或浏览器端构建格式化的输出。 difflib，[Python]标准库，计算文本差异 Levenshtein，快速计算字符串相似度。 fuzzywuzzy,字符串模糊匹配。 esmre,正则表达式的加速器。 shortuuid,一组简洁URL/UUID函数库。 ftfy，Unico
Pycharm：运行、调试pytorch分布式训练代码
lxb206的博客
03-02 8141
问题描述： pytorch提供分布式训练的工具。硬件条件允许的情况下（多GPU甚至是多台服务器），可以使用分布式训练加快模型的训练。 分布式训练包括（1）单机多卡，（2）多机多卡。笔者属于第一种情形。 分布式代码的训练一般在命令行下启动，或者shell脚本启动，但是代码有bug时，调试极为不便，本文就如何在Pycharm下，对pytorch分布式代码进行调试，进行解决方法的记录。 方法： 1、分析 # pytorch分布式代码的启动命令如下 python -m torch.distrib.
pycharm调试(debug)卡住
pp2373886592的博客
11-03 2908
问题描述：debug时查看变量（variables）卡顿，读取缓慢，不显示。（Variables只显示Connected，卡住不动） 这种情况下你会发现单步调试也卡住了，看不到执行之后的情况。可能原因：代码中使用了多线程，例如multiprocessing或者pytorch读取数据时将num_workers设置的值大于0(如下所示)解决方法: 多线程改为单线程，例如将pytorch中num_workers设置为0。
Pycharm Debug调试(纯干货)
热门推荐
小麦粒的Python
01-23 3万+
内容目录（原文见公众号python宝或www.xmmup.com）一、打断点二、代码调试三、界面小图标介绍四、控制台介绍# 数字转换为大写人民币 import sys import io ...
如何在pycharm中运行/调试torch分布式训练
carolynlmk的博客
09-21 2376
如何在pycharm中运行/调试torch分布式训练
pytorch 分布式训练调试debug
adhkcnbk的博客
07-05 937
pytorch 分布式训练调试debug 1、建立软连接 环境（虚拟环境） ----->>> 项目路径下 ln -s your environment~/venv/lib/python3.6/site-packages/torch/distributed/ /yoour project/ 在项目路径下多了一个distributed，相当于创建了一个快捷方式。 2、设置pycharm运行参数 打开Edit Configurations，在Script path中选择到刚才distrib
pysot在pycharm里debug训练代码时候的设置
Sean_csy的博客
04-16 1269
想在pycharm里调试pysot的训练代码，可是源码是分布式训练的，直接调试会报错 Key error [‘RANK’] 于是到issues里看了下，最后试了下以下方法， 是可行的 注意要写绝对路径！ 这样设置后可以正常debug。 如果要在pycharm里训练的话， 就这样设置 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值