DOCKER里面PYTORCH关于GLOO地址声明 && NCCL地址声明

最新推荐文章于 2024-07-09 17:36:59 发布
最新推荐文章于 2024-07-09 17:36:59 发布
阅读量1.4k 收藏
点赞数 1
分类专栏： pytorch 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Guo_Python/article/details/112358458
版权

1. 问题描述

       我在docker环境下，用多卡训练行人ReID时，报以下错误：

       RuntimeError: [enforce fail at /pytorch/third_party/gloo/gloo/transport/tcp/device.cc:127] rp != nullptr. Unable to find address for: my_username

       说找不到my_username地址。

2. 解决问题

      在训练模型之前，先设置一下环境变量，即声明一下地址：

      export GLOO_SOCKET_IFNAME=lo

3. 补充

     如果多卡训练时出现卡顿，用下面的方法解决：

     分布式训练前，终端先执行：export NCCL_SOCKET_IFNAME=lo

      

CV-deeplearning
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pytorch并行训练
idol24的博客
06-14 1231
来源：知乎—魔法学院的Chilia作者：https://zhuanlan.zhihu.com/p/50151047501torch.nn.DataParallel只需要一行代码就可以实现DataParallel:if torch.cuda.device_count() > 1: #判断是不是有多个GPU print("Let's use", torch.c...
NCCL、OpenMPI、Gloo对比
taoqick的专栏
08-21 1万+
以GPU的维度来看，数据并行简单来说就是在并行训练的设备上，对完整训练数据进行分片训练，同一个训练的时间间隔内，不同GPU设备上用各自分片的数据对模型进行训练，其后再进行模型梯度的汇总更新和各GPU间的状态同步。这样做的结果就是在一个训练的时间间隔内，各个GPU设备可以并行地用各自分片的数据进行模型训练，从而大大加速了整体模型的训练。从上图可见，数据并行时，每个GPU设备上保持了同样的模型数据1.CPU负责将不同的训练数据（mini-batch）分别喂给GPU0和GPU1设备；
大模型推理：vllm多机多卡分布式本地部署
最新发布
sunny0121的博客
07-09 4906
ubuntu中采用docker和vllm进行多机多卡大模型本地部署
torch.distributed
南城以北的博客
04-19 1195
参考。
PyTorch多GPU并行训练方法及问题整理
idol24的博客
09-06 3966
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！作者 link-web@知乎https://zhuanlan.zhihu.com/p/86441...
pytorch 分布式训练 distributed parallel 笔记
热门推荐
JPZ的各种笔记
01-20 6万+
此文章仅供学习使用，请勿用作商业用途。 在GPU上进行训练 查看自己的GPU并赋值device device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") net.to(device) inputs, labels = inputs.to(device), labels.to(device) 多GPU并行编程 普...
Pytorch分布式框架和数据预处理技术调研
wwwakdf的博客
07-19 431
本文意在对Pytorch的分布式框架和数据处理流程进行调研，方便之后对AI训练框架对接分布式数据库做准备。主要是为了应对AI任务训练数据量的逐渐增大，以及数据分散无法集中处理的情况。目前也在研究中。
docker-pytorch：PyTorch的Docker映像
02-04
PyTorch Docker映像 Ubuntu + PyTorch + CUDA（可选）要求为了使用此映像，您必须安装Docker Engine。 上了设置Docker Engine的说明。CUDA要求如果您具有兼容CUDA的NVIDIA图形卡，则可以使用启用CUDA的PyTorch映像...
pytorch数值算法/人工智能(pytorch-docker,pytorch-docker)
03-27
(pytorch-docker,pytorch-docker) 文件列表: .circleci (0, 2022-07-06) .circleci\config.yml (1593, 2022-07-06) 0.3.1 (0, 2022-07-06) 0.3.1\Dockerfile (551, 2022-07-06) 0.3.1\Makefile (330, 2022-07-06) ...
docker desktop window安装后迁移镜像地址
02-03
"Docker Desktop 镜像迁移指南" ...迁移镜像地址是 Docker Desktop 的一个重要功能，可以帮助开发者更好地管理镜像，提高开发效率。本文档提供了迁移镜像地址的详细步骤，旨在帮助开发者更好地使用 Docker Desktop。
Docker容器如何查看ip地址的实现方法
01-10
一直以为Docker是没有IP地址的，其实Docker的网络模板有点类似我们平常使用虚拟机的host-only模式，容器和宿主机组成一个独立的局域网，宿主机的IP为172.17.0.1,对应主机的网络名称为docker0   所以要想看到...
隐私保护机器学习的框架-Python开发
05-25
CrypTen是一个基于PyTorch的隐私保护机器学习框架。 其目标是使机器学习从业人员可以访问安全的计算技术。 它目前实现安全多方计算CrypTen是基于PyTorch构建的隐私保护机器学习框架。 其目标是使机器学习从业人员可以访问安全的计算技术。 它目前将安全多方计算作为其安全的计算后端来实现，并为ML研究人员提供了三个主要好处：首先是机器学习。 该框架通过CrypTensor对象呈现协议，该对象的外观和感觉完全类似于PyTorch Tensor。 这允许用户使用自动差异
docker-19.03.6.tgz&portainer.tar
11-20
docker-19.03.6.tgz&portainer.tar https://cuzue.blog.csdn.net/article/details/134503621
PyTorch并行与分布式(二)分布式通信包torch.distributed
小小何先生的学习之旅
12-12 6484
  本文主要参考资料为distributed communication package torch.distributed 参考 distributed communication package torch.distributed
Pytorch单机多卡和多机多卡训练
lbj23hao1的博客
04-15 9739
PyTorch 可以通过 torch.nn.DataParallel 直接切分数据并行在单机多卡上，实践证明这个接口并行力度并不尽如人意，主要问题在于数据在 master 上处理然后下发到其他 slaver 上训练，而且由于 GIL 的存在只有计算是并行的。torch.distributed 提供了更好的接口和并行方式，搭配多进程接口 torch.multiprocessing 可以提供更加高效的并行训练。 GIL含义解释 多进程 我们都知道由于 GIL 的存在， python 要想真正的并行必须使用多进
NCCL填坑
卟灵卟灵哒的博客
08-21 2万+
NCCL填坑简介篇章一篇章二篇章三篇章四篇章五篇章五 简介 简单介绍一下，我这新鲜热乎的坑。真的是太少见的了。本人在做pytorch分布式训练，晚上找了个小demo准备先让服务器热一下身。 顺手将共享文件传输改成了tcp传输dist.init_process_group(init_method='file:///home/****/nfstest',backend="gloo",world_size=4,group_name="pytorch_test")变为dist.init_process_group(
pytorch 多卡训练 accelerate gloo
jacke121的专栏
12-30 959
accelerate 多卡训练
Pytorch 分布式模式介绍
weixin_36670529的博客
05-19 1万+
一 分布式训练策略 数据较多或者模型较大时，为提高机器学习模型训练效率，一般采用多GPU的分布式训练。 按照并行方式，分布式训练一般分为数据并行和模型并行两种， 模型并行：分布式系统中的不同GPU负责网络模型的不同部分。例如，神经网络模型的不同网络层被分配到不同的GPU，或者同一层内部的不同参数被分配到不同GPU； 数据并行：不同的GPU有同一个模型的多个副本，每个GPU分配到不同的数据，...
docker下运行分布式代码报nccl错误：connect returned Connection timed out，成功解决
weixin_45666880的博客
02-22 698
原文：相关内容参考：docker 容器内安装 nccl 后，测试是否安装成功：使用 NVIDIA公司官方提供的测试工具：下载后，进行编译： make默认，cuda的安装位置：/usr/local/cuda默认，nccl的安装位置：/usr如果cuda和nccl的安装位置不是默认的，而是手动选择其他地方的，那么需要在make的时候配置路径：CUDA_HOME 为 cuda的安装路径。NCCL_HOME 为 nccl的安装路径。
docker 安装pytorch
12-10
以下是在Docker中安装PyTorch的步骤： 1.首先，从Docker Hub上拉取PyTorch镜像。可以使用以下命令拉取最新版本的PyTorch： ``` docker pull pytorch/pytorch ``` 2.接下来，使用以下命令在容器中启动PyTorch： ``` docker run -it --rm pytorch/pytorch ``` 3.现在，您可以在容器中使用PyTorch了。如果您需要在容器中运行Python脚本，请使用以下命令： ``` docker run -it --rm -v /path/to/your/script:/app pytorch/pytorch python /app/your_script.py ``` 请注意，`/path/to/your/script`应替换为您的Python脚本所在的路径，`your_script.py`应替换为您的Python脚本的名称。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值